nts: handle negotiated server as FQDN

The NTS RFC requires the recipient of the Server Negotiation NTS-KE
record to handle the name as a fully qualified domain name. Add a
trailing dot if not present to force the name to be resolved as one.

test: extend 106-refclock test

doc: improve description of allow directive

Prefer CIDR notation, clarify use of hostnames and order of allow/deny
directives, refer to the accheck command.

sys_timex: remove workaround for broken ntp_adjtime on macOS

Early beta releases of macOS Big Sur had a signed/unsigned error in
Apple's implementation of ntp_adjtime. Apple have since fixed this error
and the workaround is no longer required.

doc: improve FAQ

conf: require sourcedir files to be terminated by newline

When reading a *.sources file require that each line is termined by the
newline character to avoid processing an unfinished line, e.g. due to an
unexpected call of the reload command when the file is being written in
place.

test: make system tests more reliable

test: update and extend 110-chronyc test

ntp: add copy option

When separate client and server instances of chronyd are running on one
computer (e.g. for security or performance reasons) and are synchronized
to each other, the server instance provides a reference ID based on the
local address used for synchronization of its NTP clock, which breaks
detection of synchronization loops for its own clients.

Add a "copy" option to specify that the server and client are closely
related, no loop can form between them, and the client should assume the
reference ID and stratum of the server to fix detection of loops between
the server and clients of the client.

ntp: clamp remote stratum

Don't set the remote stratum (used for polling adjustments) to values
larger than 16.

ntp: don't update source status with unsynchronized data

Don't update the leap and stratum used in source selection if they
indicate an unsynchronized source.

Fixes: 2582be8754ab ("sources: separate update of leap status")

refclock: drop return after LOG_FATAL

The LOG_FATAL macro expands to (emitting the message and then) exit(1).
So a return after LOG_FATAL isn't reached. Drop all those to simplify
the code a bit.

ntp: fix loop test for special reference modes

It is not sufficient to check for disabled server sockets as they are
not open only after the special reference modes end (e.g. initstepslew).

Fixes: 004986310d2a ("ntp: skip loop test if no server socket is open")

sys_linux: allow setsockopt(SOL_IP, IP_TOS) in seccomp

This system call is required by the DSCP marking feature introduced in commit
6a5665ca5877 ("conf: add dscp directive").

Before this change, enabling seccomp filtering (chronyd -F 1) and specifying a
custom DSCP value in the configuration (for example "dscp 46") caused the
process to be killed by seccomp due to IP_TOS not being allowed by the filter.

Tested before and after the change on Ubuntu 21.04, kernel 5.11.0-13-generic.
IP_TOS is available since Linux 1.0, so I didn't add any ifdefs for it.

Signed-off-by: Foster Snowhill <forst@forstwoof.ru>

doc: improve chrony.conf man page

doc: improve FAQ

Add new questions, fix typos and version-specific information.

test: extend 103-initstepslew test

test: enable valgrind in more tests

test: extend 106-refclock test

refclock: increase PPS lock limit

Increase the maximum acceptable offset of the PPS lock reference from
20% to 40% of the PPS interval to not require the refclock offset to be
specified in configuration so accurately, or enable operation with a
highly unstable reference clock.

declare variables set from signal handlers as volatile

Make sure variables set from signal handlers are not cached in
registers.

configure: use well-known file name conftest.c

... for configuration checks.  Compiler wrappers check for this name
in order to skip any instrumentation of the build that is intended
for regular source files only.

test: extend ntp_sources unit test

test: drop logging suspension

Instead of selectively suspending logging by redirecting messages to
/dev/null, increase the default minimum log severity to FATAL. In the
debug mode, all messages are printed.

cmdmon: return error if doffset command fails

cmdmon: convert doffset request to float

local: return status from offset accumulation

Change the functions accumulating offset to return success or failure.

client: report invalid values in doffset and dfreq commands

test: extend util unit test

test: use env shebang in all bash scripts

This allows the scripts to be executed on systems that don't have bash
in /bin. This fixes "make check".

test: extend 007-cmdmon system test

util: require inet_pton()

Always use inet_pton() for converting IP addresses. It should be
available on all currently supported systems.

nameserv: avoid unnecessary getaddrinfo() calls

Check if the name passed to DNS_Name2IPAddress() is an IP address
before calling getaddrinfo(), which can be much slower and work
differently on different systems.

nameserv: require getaddrinfo() and getnameinfo()

Remove support for the long-deprecated gethostbyname() and
gethostbyaddr() functions.

cmdmon: fix responding to IPv4 addresses on FreeBSD

On FreeBSD, the source address cannot be specified when sending a
message on a socket bound to a non-any IPv4 address, e.g. in default
configuration 127.0.0.1. In this case, make the address unspecified.

This is similar to commit 6af39d63aa93 ("ntp: don't use IP_SENDSRCADDR
on bound socket").

Fixes: f06c1cfa97f8 ("cmdmon: respond from same address")

main: suppress info messages with -p option

Log (to stderr) only warnings and higher when printing the
configuration to suppress the "chronyd starting" message.

sys_linux: check if statx syscall is defined

statx seems to be missing in older kernel and libseccomp headers, still
used on some supported systems.

main: warn if running with root privileges

Log a warning message if the main process has not dropped the root
privileges, i.e. when the compiled-in user or user specified by the user
directive or -u option is root.

refclock: warn if lock refid is invalid

Log a warning message if the specified lock refid doesn't match any
existing refclock or it matches the refclock which has the lock option
itself.

refclock: warn if maxlockage is too small

Log a warning message if the interval covered by the maxlockage at the
PPS rate of a refclock is shorter than driver poll of the locked
refclock.

Reported-by: Matt Corallo <ntp-lists@mattcorallo.com>

ntp: restart resolving on online command

If the online command is received when the resolver is running, start
it again as soon as it finishes instead of waiting for the timer.

This should reduce the time needed to get all sources resolved on boot
if chronyd is started before the network is online and the chronyc
online command is issued before the first round of resolving can finish,
e.g. due to an unreachable DNS server in resolv.conf.

test: extend 139-nts test

cmdmon: set certset for new sources

Add the new certset option to the cmdmon protocol.

conf: add certset option to NTP sources

Allow the set of trusted certificates to be selected for each NTP
source individually.

conf: add set selection to ntstrustedcerts

Add an optional set-ID argument to the ntstrustedcerts directive to
enable multiple sets of trusted certificates to be specified.

nts: add support for multiple sets of trusted certificates

Modify the session, NTS-KE, and NTS-NTP code to support multiple sets of
trusted certificates and identify the sets by a 32-bit ID.

configure: check for O_NOFOLLOW flag

If the O_NOFOLLOW flag used by open() is not defined, try it with
_GNU_SOURCE. This is needed with glibc-2.11 and earlier.

Reported-by: Marius Rohde <marius.rohde@meinberg.de>

sys_linux: allow statx and fstatat64 in seccomp filter

With glibc 2.33 on armhf statx and fstatat64 are triggered.
Allow this call to un-break chrony on such platforms.

Without this e.g. test 005-scfilter fails and with ltrace -rTS reports:
a)
  0.001684 SYS_397(11, 0xf75def08, 6144, 2047 <no return ...>
  0.759239 +++ killed by SIGSYS +++
b)
  0.003749 SYS_327(-100, 0xffdbcc3c, 0xffdbcb50, 0)
  0.000821 --- SIGSYS (Bad system call) ---

Current armhf syscalls from:
https://github.com/torvalds/linux/blob/v5.10/arch/arm/tools/syscall.tbl

Signed-off-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

nts: allow ntstrustedcerts to specify directory

If the specified path is a directory, load all certificates in the
directory.

nts: allow multiple files with trusted certificates

Allow the ntstrustedcerts directive to be specified multiple times.

nts: allow multiple server keys and certificates

Allow the ntsservercert and ntsserverkey directives to be specified
multiple times to enable the NTS-KE server to operate under multiple
names.

nts: define type for credentials

Add a NKSN_Credentials type to avoid referring to it as void *.

nts: split creating server and client credentials

client: fix sourcename command to accept ID addresses

Fix the command to print the name corresponding to an unresolved
address.

ntp: simplify NSR_Finalise()

ntp: limit number of sources

Don't rely on assertions and running out of memory to terminate if
an extremely large number of sources is added. Set the maximum number
to 65536 to have a practical limit where chronyd still has a chance to
appear functional with some operations having a quadratic time
complexity.

nts: reset NTP address/port if removed in NTS-KE

When an NTS-KE server stops providing the NTP address or port, change
them to the original values to avoid the client getting stuck
with a non-responding address/port.

nts: load cookies early

Instead of waiting for the first request, try to load the cookies as
soon as the instance is created, or the NTS address is changed.

This enables loading of dump files for servers that are negotiated in
NTS-KE.

nts: rework update of NTP server address

In the NTS-NTP client instance, maintain a local copy of the NTP address
instead of using a pointer to the NCR's address, which may change at
unexpected times.

Also, change the NNC_CreateInstance() to accept only the NTP port to
make it clear the initial NTP address is the same as the NTS-KE address
and to make it consistent with NNC_ChangeAddress(), which accepts only
one address.

ntp: avoid recursive update of address

Allow NSR_UpdateSourceNtpAddress() to be (indirectly) called from
NCR_CreateInstance() and NCR_ChangeRemoteAddress(). In these cases, save
the addresses and make the update later when the function calls return.

ntp: require port match in address update

In NSR_UpdateSourceNtpAddress() and other updates of the address require
that the old port matches the current source's port.

test: extend 129-reload test

sources: set reference after loading dump files

After loading the dump files with the -r option, immediately perform a
source selection with forced setting of the reference. This shortens the
interval when a restarted server doesn't respond with synchronized time.
It no longer needs to wait for the first measurement from the best
source (which had to pass all the filters).

sources: improve handling of dump files and their format

Check for write errors when saving dump files. Don't save files with no
samples. Add more sanity checks for loaded data.

Extend the file format to include an identifier, the reachability
register, leap status, name, and authentication flag. Avoid loading
unauthenticated data after switching authentication on. Change format
and order of some fields to simplify parsing. Drop fields that were kept
only for compatibility.

The dump files now contain all information needed to perform the source
selection and update the reference.

There is no support kept for the old file format. Loading of old dump
files will fail after upgrading to new version.

sources: update stratum with leap status

Remove stratum from the NTP sample and update it together with the leap
status. This enables a faster update when samples are dropped by the NTP
filters.

sourcestats: move stratum to sources

The stratum value is not needed in sourcestats. Keep it in the source
itself.

main: fix typo in comment

main: cancel clock correction before dumping sources

On exit, cancel the remaining clock correction before measurements are
saved to dumpdir to fix them for the state in which chronyd will start
again.

sys_linux: fix build with older kernel headers

The renameat2 system call was introduced in kernel version 3.15. Fix
build against older headers.

test: improve NTS tests

nts: support servers specified by IP address

Certificates can include IP addresses as alternative names to enable
clients to verify such certificates without knowing the hostname.

Accept an IP address as a name in the NTS-NTP client and modify the
session code to not set the SNI in this case.

ntp: allow replacement of sources specified by IP address

For sources specified by an IP address, keep the original address as the
source's name and pass it to the NCR instance. Allow the sources to go
through the replacement process if their address has changed.

This will be useful with NTS-KE negotiation.

The IP-based source names are now provided via cmdmon. This means
chronyc -n and -N can show two different addresses for a source.

ntp: fix NULL pointer

test: support ss as netstat replacement

netstat is considered obsolete on Linux. It is replaced by ss from
iproute. Support both tools for the test port selection.

test: fix port selection to disable grep output

test: make 120-selectoptions more reliable

Remove packet interval checks with long delays as the tests are much
more likely to end when the client is waiting for a response. Increase
the base delay to make selection with two sources more reliable.

Reported-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

socket: add debug message for unexpected control message

socket: check length of received control messages

Make sure each processed control messages has the expected length.
Beside improved safety, this should prevent potential issues with broken
timestamps on systems that support both 64-bit and 32-bit time_t.

sched: stop dispatching timeouts on exit

Check in the dispatch loop whether the need_to_exit flag was set.

sched: improve infinite loop detection

The "infinite loop in scheduling" fatal error was observed on a system
running out of memory. Presumably, the execution of the process slowed
down due to memory thrashing so much that the dispatching loop wasn't
able to break with a single server polled at a 16-second interval.

To allow recovery in such a case, require for the error more than
20 handled timeouts and a rate higher than 100 per second.

Reported-by: Jamie Gruener <jamie.gruener@biospatial.io>

rtc: log error message when driver initialisation fails

doc: diagnose problem with RTC interrupts on Linux

This commit updates the FAQ with a new entry.

chronyd's Linux RTC driver (rtc_linux.c) requires the following ioctl
requests to be functional:

  RTC_UIE_ON
  RTC_UIE_OFF

However, a Linux system's RTC driver does not necessarily implement them,
as noted in these previous commits:

  d66b2f2b2423bfbd3de4d69895024dac7eefb306
  rtc: handle RTCs that don't support interrupts
  Tue Dec 10 17:45:28 2019 +0100

  bff3f51d13c3f41e2ead2cfff5bfe0b8c22ef44a
  rtc: extend check for RTCs that don't support interrupts
  Thu Dec 12 12:50:19 2019 +0100

Fortunately, the Linux kernel can be built with software emulation of
these hardware requests, by enabling the following config variable:

  CONFIG_RTC_INTF_DEV_UIE_EMUL
    Provides an emulation for RTC_UIE if the underlying rtc chip
    driver does not expose RTC_UIE ioctls. Those requests generate
    once-per-second update interrupts, used for synchronization.

    The emulation code will read the time from the hardware
    clock several times per second, please enable this option
    only if you know that you really need it.

This commit records these facts for the benefit of the user.

doc: fix ntsntpserver reference in chrony.conf man page

Fix the name of ntsntpserver directive in ntsrotate description.

Reported-By: Phil Roberts <phil@robertskeys.net>

nts: save new server keys on start

If ntsdumpdir is specified and the server NTS keys are not reloaded from
the file, save the generated keys on start instead of waiting for the
first rotation or exit. This allows the keys to be shared with another
server without having to use the dump command.

conf: free refclock strings on exit

Free driver name and parameter of configured refclocks in helpers on
exit.

ntp: avoid unnecessary replacement attempts

In the initial resolving of pool sources try to assign each address only
once. If it fails, it means the address is already used (DNS provided
the same address) or the address is not connectable. The same result can
be expected for other unresolved sources of the pool as they don't have
a real address yet.

fix compiler warnings

Fix -Wchar-subscripts warnings on NetBSD and warnings about pointer
aliasing and uninitialized values with an older compiler.

doc: improve FAQ

doc: improve ntsrotate description

sys_netbsd: don't check access to /dev/clockctl with -x

With the -x option there is no need for write access to /dev/clockctl.

sys: don't start privops helper for NTS-KE helper

The NTS-KE helper doesn't need to bind sockets or adjust the clock.
Don't start the privops helper, or keep the capabilities, when dropping
root privileges in its context.

sys: specify process context for dropping root

Similarly to enabling the syscall filter, specify what kind of chronyd
process is dropping the root privileges.

configure: don't check for getrandom when arc4random is present

On FreeBSD 12, both functions seem to be available. Prefer arc4random.

test: improve sources unit test

cmdmon: add leap status to selectdata report

sched: include unexpected jumps in monotonic time

Update the monotonic time before the timestamps are corrected for
unexpected jumps, e.g. due to the computer being suspended and resumed,
and switch to the raw timestamps. This should allow the NTS refresh
interval to better follow real time, but it will not be corrected for
a frequency offset if the clock is not synchronized (e.g. with -x).

cmdmon: fix link-local address check

Don't check for a link-local address on path of a Unix domain socket.

Fixes: 4e747da4b482 ("ntp+cmdmon: fix responding to link-local addresses")

socket: process all message headers

If multiple messages were received, don't stop their processing if some
header fails.

Fixes: 86a3ef9ed192 ("socket: add new socket support")

socket: always process control messages

Even if a received message will not be returned to the caller (e.g.
because it is truncated), process its control messages to avoid leaking
received descriptors.

Fixes: f231efb811ee ("socket: add support for sending and receiving descriptors")

test: make 007-cmdmon test more reliable