ntp: restart resolving on online command

If the online command is received when the resolver is running, start
it again as soon as it finishes instead of waiting for the timer.

This should reduce the time needed to get all sources resolved on boot
if chronyd is started before the network is online and the chronyc
online command is issued before the first round of resolving can finish,
e.g. due to an unreachable DNS server in resolv.conf.

test: extend 139-nts test

cmdmon: set certset for new sources

Add the new certset option to the cmdmon protocol.

conf: add certset option to NTP sources

Allow the set of trusted certificates to be selected for each NTP
source individually.

conf: add set selection to ntstrustedcerts

Add an optional set-ID argument to the ntstrustedcerts directive to
enable multiple sets of trusted certificates to be specified.

nts: add support for multiple sets of trusted certificates

Modify the session, NTS-KE, and NTS-NTP code to support multiple sets of
trusted certificates and identify the sets by a 32-bit ID.

configure: check for O_NOFOLLOW flag

If the O_NOFOLLOW flag used by open() is not defined, try it with
_GNU_SOURCE. This is needed with glibc-2.11 and earlier.

Reported-by: Marius Rohde <marius.rohde@meinberg.de>

sys_linux: allow statx and fstatat64 in seccomp filter

With glibc 2.33 on armhf statx and fstatat64 are triggered.
Allow this call to un-break chrony on such platforms.

Without this e.g. test 005-scfilter fails and with ltrace -rTS reports:
a)
  0.001684 SYS_397(11, 0xf75def08, 6144, 2047 <no return ...>
  0.759239 +++ killed by SIGSYS +++
b)
  0.003749 SYS_327(-100, 0xffdbcc3c, 0xffdbcb50, 0)
  0.000821 --- SIGSYS (Bad system call) ---

Current armhf syscalls from:
https://github.com/torvalds/linux/blob/v5.10/arch/arm/tools/syscall.tbl

Signed-off-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

nts: allow ntstrustedcerts to specify directory

If the specified path is a directory, load all certificates in the
directory.

nts: allow multiple files with trusted certificates

Allow the ntstrustedcerts directive to be specified multiple times.

nts: allow multiple server keys and certificates

Allow the ntsservercert and ntsserverkey directives to be specified
multiple times to enable the NTS-KE server to operate under multiple
names.

nts: define type for credentials

Add a NKSN_Credentials type to avoid referring to it as void *.

nts: split creating server and client credentials

client: fix sourcename command to accept ID addresses

Fix the command to print the name corresponding to an unresolved
address.

ntp: simplify NSR_Finalise()

ntp: limit number of sources

Don't rely on assertions and running out of memory to terminate if
an extremely large number of sources is added. Set the maximum number
to 65536 to have a practical limit where chronyd still has a chance to
appear functional with some operations having a quadratic time
complexity.

nts: reset NTP address/port if removed in NTS-KE

When an NTS-KE server stops providing the NTP address or port, change
them to the original values to avoid the client getting stuck
with a non-responding address/port.

nts: load cookies early

Instead of waiting for the first request, try to load the cookies as
soon as the instance is created, or the NTS address is changed.

This enables loading of dump files for servers that are negotiated in
NTS-KE.

nts: rework update of NTP server address

In the NTS-NTP client instance, maintain a local copy of the NTP address
instead of using a pointer to the NCR's address, which may change at
unexpected times.

Also, change the NNC_CreateInstance() to accept only the NTP port to
make it clear the initial NTP address is the same as the NTS-KE address
and to make it consistent with NNC_ChangeAddress(), which accepts only
one address.

ntp: avoid recursive update of address

Allow NSR_UpdateSourceNtpAddress() to be (indirectly) called from
NCR_CreateInstance() and NCR_ChangeRemoteAddress(). In these cases, save
the addresses and make the update later when the function calls return.

ntp: require port match in address update

In NSR_UpdateSourceNtpAddress() and other updates of the address require
that the old port matches the current source's port.

test: extend 129-reload test

sources: set reference after loading dump files

After loading the dump files with the -r option, immediately perform a
source selection with forced setting of the reference. This shortens the
interval when a restarted server doesn't respond with synchronized time.
It no longer needs to wait for the first measurement from the best
source (which had to pass all the filters).

sources: improve handling of dump files and their format

Check for write errors when saving dump files. Don't save files with no
samples. Add more sanity checks for loaded data.

Extend the file format to include an identifier, the reachability
register, leap status, name, and authentication flag. Avoid loading
unauthenticated data after switching authentication on. Change format
and order of some fields to simplify parsing. Drop fields that were kept
only for compatibility.

The dump files now contain all information needed to perform the source
selection and update the reference.

There is no support kept for the old file format. Loading of old dump
files will fail after upgrading to new version.

sources: update stratum with leap status

Remove stratum from the NTP sample and update it together with the leap
status. This enables a faster update when samples are dropped by the NTP
filters.

sourcestats: move stratum to sources

The stratum value is not needed in sourcestats. Keep it in the source
itself.

main: fix typo in comment

main: cancel clock correction before dumping sources

On exit, cancel the remaining clock correction before measurements are
saved to dumpdir to fix them for the state in which chronyd will start
again.

sys_linux: fix build with older kernel headers

The renameat2 system call was introduced in kernel version 3.15. Fix
build against older headers.

test: improve NTS tests

nts: support servers specified by IP address

Certificates can include IP addresses as alternative names to enable
clients to verify such certificates without knowing the hostname.

Accept an IP address as a name in the NTS-NTP client and modify the
session code to not set the SNI in this case.

ntp: allow replacement of sources specified by IP address

For sources specified by an IP address, keep the original address as the
source's name and pass it to the NCR instance. Allow the sources to go
through the replacement process if their address has changed.

This will be useful with NTS-KE negotiation.

The IP-based source names are now provided via cmdmon. This means
chronyc -n and -N can show two different addresses for a source.

ntp: fix NULL pointer

test: support ss as netstat replacement

netstat is considered obsolete on Linux. It is replaced by ss from
iproute. Support both tools for the test port selection.

test: fix port selection to disable grep output

test: make 120-selectoptions more reliable

Remove packet interval checks with long delays as the tests are much
more likely to end when the client is waiting for a response. Increase
the base delay to make selection with two sources more reliable.

Reported-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

socket: add debug message for unexpected control message

socket: check length of received control messages

Make sure each processed control messages has the expected length.
Beside improved safety, this should prevent potential issues with broken
timestamps on systems that support both 64-bit and 32-bit time_t.

sched: stop dispatching timeouts on exit

Check in the dispatch loop whether the need_to_exit flag was set.

sched: improve infinite loop detection

The "infinite loop in scheduling" fatal error was observed on a system
running out of memory. Presumably, the execution of the process slowed
down due to memory thrashing so much that the dispatching loop wasn't
able to break with a single server polled at a 16-second interval.

To allow recovery in such a case, require for the error more than
20 handled timeouts and a rate higher than 100 per second.

Reported-by: Jamie Gruener <jamie.gruener@biospatial.io>

rtc: log error message when driver initialisation fails

doc: diagnose problem with RTC interrupts on Linux

This commit updates the FAQ with a new entry.

chronyd's Linux RTC driver (rtc_linux.c) requires the following ioctl
requests to be functional:

  RTC_UIE_ON
  RTC_UIE_OFF

However, a Linux system's RTC driver does not necessarily implement them,
as noted in these previous commits:

  d66b2f2b2423bfbd3de4d69895024dac7eefb306
  rtc: handle RTCs that don't support interrupts
  Tue Dec 10 17:45:28 2019 +0100

  bff3f51d13c3f41e2ead2cfff5bfe0b8c22ef44a
  rtc: extend check for RTCs that don't support interrupts
  Thu Dec 12 12:50:19 2019 +0100

Fortunately, the Linux kernel can be built with software emulation of
these hardware requests, by enabling the following config variable:

  CONFIG_RTC_INTF_DEV_UIE_EMUL
    Provides an emulation for RTC_UIE if the underlying rtc chip
    driver does not expose RTC_UIE ioctls. Those requests generate
    once-per-second update interrupts, used for synchronization.

    The emulation code will read the time from the hardware
    clock several times per second, please enable this option
    only if you know that you really need it.

This commit records these facts for the benefit of the user.

doc: fix ntsntpserver reference in chrony.conf man page

Fix the name of ntsntpserver directive in ntsrotate description.

Reported-By: Phil Roberts <phil@robertskeys.net>

nts: save new server keys on start

If ntsdumpdir is specified and the server NTS keys are not reloaded from
the file, save the generated keys on start instead of waiting for the
first rotation or exit. This allows the keys to be shared with another
server without having to use the dump command.

conf: free refclock strings on exit

Free driver name and parameter of configured refclocks in helpers on
exit.

ntp: avoid unnecessary replacement attempts

In the initial resolving of pool sources try to assign each address only
once. If it fails, it means the address is already used (DNS provided
the same address) or the address is not connectable. The same result can
be expected for other unresolved sources of the pool as they don't have
a real address yet.

fix compiler warnings

Fix -Wchar-subscripts warnings on NetBSD and warnings about pointer
aliasing and uninitialized values with an older compiler.

doc: improve FAQ

doc: improve ntsrotate description

sys_netbsd: don't check access to /dev/clockctl with -x

With the -x option there is no need for write access to /dev/clockctl.

sys: don't start privops helper for NTS-KE helper

The NTS-KE helper doesn't need to bind sockets or adjust the clock.
Don't start the privops helper, or keep the capabilities, when dropping
root privileges in its context.

sys: specify process context for dropping root

Similarly to enabling the syscall filter, specify what kind of chronyd
process is dropping the root privileges.

configure: don't check for getrandom when arc4random is present

On FreeBSD 12, both functions seem to be available. Prefer arc4random.

test: improve sources unit test

cmdmon: add leap status to selectdata report

sched: include unexpected jumps in monotonic time

Update the monotonic time before the timestamps are corrected for
unexpected jumps, e.g. due to the computer being suspended and resumed,
and switch to the raw timestamps. This should allow the NTS refresh
interval to better follow real time, but it will not be corrected for
a frequency offset if the clock is not synchronized (e.g. with -x).

cmdmon: fix link-local address check

Don't check for a link-local address on path of a Unix domain socket.

Fixes: 4e747da4b482 ("ntp+cmdmon: fix responding to link-local addresses")

socket: process all message headers

If multiple messages were received, don't stop their processing if some
header fails.

Fixes: 86a3ef9ed192 ("socket: add new socket support")

socket: always process control messages

Even if a received message will not be returned to the caller (e.g.
because it is truncated), process its control messages to avoid leaking
received descriptors.

Fixes: f231efb811ee ("socket: add support for sending and receiving descriptors")

test: make 007-cmdmon test more reliable

client: drop unnecessary function

Replace cvt_to_sec_usec() with a UTI_DoubleToTimespec() call.

util: fix UTI_BytesToHex() to handle zero-length input

nts: handle invalid algorithm in TLS key export

nts: fix server kod setting

Set the response kod value to zero even if NTS server is disabled.

nts: save server name in client dump file

Save the NTS-KE server name and require it to match the name of the
instance loading the file.

nts: update client state earlier

Generate a new uniq ID on each client poll to invalidate responses to
the previous request, even if a new request cannot be generated (e.g.
due to missing cookies). Reset the NAK indicator earlier in the request
sequence. Also, drop the cookie even if it's not included in the request
to prevent the client from getting stuck with a cookie that has an
invalid length. Rely on the exponentially increasing interval to avoid
frequent NTS-KE sessions due to a client bug.

doc+examples: update http links to https

client: improve help message

Describe all chronyc options in the help message.

main: improve help message

Describe all chronyd options in the help message.

doc: document long options

Document the --version and --help options in chronyd and chronyc man
page.

test: include CMAC keys in ntp_core unit test

nts: reset packet length after failed auth encryption

If encryption of the NTS authenticator field fails, don't leave
uninitialized data in the packet in case a bug causes the packet to be
sent.

ntp: improve NTS check in NAU_DestroyInstance()

Check the mode instead of the nts pointer to make it clear the pointer
is not expected to be NULL in an NTS instance (unless the NTS support is
stubbed).

ntp: update comments with new RFCs

doc: update NEWS

update copyright years

client: drop support for GNU readline

GNU readline switched to GPLv3+ in version 6.0, which is incompatible
with the chrony's GPLv2 license.

Drop support for the readline library. Only editline is supported now.

doc: update and improve FAQ

doc: improve chronyd man page

main: add option to disable check for root

The -U option can be used to start chronyd under a non-root user if it
is provided with all capabilities and access to files, directories, and
devices, needed to operate correctly in the specified configuration. It
is not recommended in cases where the configuration is unknown.

sys_linux: don't keep NET_BIND_SERVICE for unprivileged port

Don't keep the NET_BIND_SERVICE capability if the configured NTP port is
not privileged (i.e. not smaller than 1024).

sys_linux: don't keep NET_RAW on new kernels

It seems the NET_RAW capability is no longer needed to bind a socket to
a device since Linux 5.7.

ntp: log error when SIOCSHWTSTAMP fails with EPERM

Increase the severity of the log message to "error" when
the SIOCSHWTSTAMP ioctl fails due missing the NET_ADMIN capability.

configure: require TLS1.3 support in gnutls

Before enabling NTS support, explicitly check for TLS1.3 support in
gnutls, which is required by NTS.

test: add ntp_auth unit test

test: fix ntp_core unit test

Fix setting of key_id in the response.

Fixes: f6625717cdb0 ("test: improve ntp_core unit test")

doc: improve chrony.conf man page

doc: improve chronyc man page

test: improve ntp_core unit test

ntp: drop support for long NTPv4 MACs

Don't accept NTPv4 packets which have a MAC longer than 24 octets to
strictly follow RFC 7822, which specifies the maximum length of a MAC
and the minimum length of the last extension field to avoid an ambiguity
in parsing of the packet.

This removes an ugly hack that was needed to accept packets that
contained one or more extension fields without a MAC, before RFC 7822
was written and NTP implementations started using truncated MACs.

The long MACs were used by chrony in versions 2.x when configured to
authenticate a server or peer with a key using a 256-bit or longer hash
(e.g. SHA256). For compatibility with chrony >= 4.0, these clients/peers
will need to have "version 3" added to the server/peer line in
chrony.conf.

siv: return error if key is not set

Avoid encryption or decryption using uninitialized data, or causing a
crash, if a key was not set for the SIV instance.

nts: improve NTP client code

Reset the client instance more thoroughly and make sure the
nonce cannot be reused.

client: improve help message for sources command

cmdmon: rename status constants

Change the naming of reported selection status in the sources report to
better match the internal status.

sources: don't report untrusted sources as selectable

Show untrusted sources with the '?' symbol instead of '-' to make them
consistent with not selectable and selectable sources in the selectdata
description.

configure: fix building with -NTP -CMDMON +SCFILTER

Don't enable privileged operations using the nameserv code unless
NTP is enabled.

nts: log early client NTS-KE socket errors

Log an error message when SCK_OpenTcpSocket() fails in the NTS-KE
client, e.g. when connect() fails due to the port not being allowed in
the SELinux policy.

cmdmon: remove unused test code

cmdmon: check response length before sending

Before sending a cmdmon response, make sure it is not longer than the
request to avoid amplification in case the response/padding length is
incorrectly specified for a request.

sys_linux: allow readlinkat in seccomp filter