source: don't print duplicated address in selection message

Don't print the original IP address in parentheses in the "Selected
source ..." message if it is identical to the current address. That is
expected to be the usual case for sources specified by IP address.

conf: log error when source cannot be added

Log an error message when adding of a source fails, e.g. due to the new
limit on number of sources, or when the same address is specified
multiple times.

nts: close file after loading cookies

Don't forget to close the file with cookies in ntsdumpdir if
successfully loaded.

Fixes: 2fa83b541c36 ("nts: save and load cookies on client")

nts: ignore long non-critical records

In the NTS-KE client don't reject the response if it has non-critical
records that are too long for the processing buffer. This is not
expected to happen with the current specification, but it might be
needed with future extensions.

Fixes: 7925ed39b81f ("nts: fix handling of long server negotiation record")

test: fix date use in 010-nts system test

Avoid using nonportable -d option of date.

test: remove logs before chronyd start in system tests

test: extend configuration in system tests

test: rework seccomp testing

Instead of a single test with enabled seccomp, rerun all other
non-destructive and destructive tests for each seccomp level.

sys_linux: allow BINDTODEVICE option in seccomp filter

Fixes: 4ef944b73436 ("socket: add support for binding sockets to device")

doc: warn about -F and mailonchange in chronyd man page

nts: avoid assumption about cookie record

The cookie record is currently assumed to be the longest record that
needs to be accepted by the client, but that does not have to be always
the case. Define the processing buffer using the maximum body record
constant instead and add an assertion to make sure it's not smaller than
the maximum accepted cookie length.

nts: fix handling of long server negotiation record

Recent change in handling of the NTPv4 server negotiation record (commit
754097944be2) increased the length of the instance name buffer to make
room for the trailing dot. This allowed a record with body truncated in
the processing buffer to be accepted and caused an over-read of 1 byte
in the memcpy() call saving the name to the instance buffer.

Modify the client to accept only records that fit in the processing
buffer.

Fixes: 754097944be2 ("nts: handle negotiated server as FQDN")

doc: update NEWS

doc: update README

ntp: fix address in error message

nameserv: avoid sockaddr_in6 with disabled IPv6 support

Fixes: 10c760a80c15 ("nameserv: require getaddrinfo() and getnameinfo()")

test: extend 129-reload test

sources: fix loading of refclock dump files

Allow zero stratum in loaded dump files.

Fixes: f8610d69f08f ("sources: improve handling of dump files and their format")

sources: don't print NULL string to dump file

For reference clocks, which don't have a name, print "." instead of
NULL.

Fixes: f8610d69f08f ("sources: improve handling of dump files and their format")

nts: handle negotiated server as FQDN

The NTS RFC requires the recipient of the Server Negotiation NTS-KE
record to handle the name as a fully qualified domain name. Add a
trailing dot if not present to force the name to be resolved as one.

test: extend 106-refclock test

doc: improve description of allow directive

Prefer CIDR notation, clarify use of hostnames and order of allow/deny
directives, refer to the accheck command.

sys_timex: remove workaround for broken ntp_adjtime on macOS

Early beta releases of macOS Big Sur had a signed/unsigned error in
Apple's implementation of ntp_adjtime. Apple have since fixed this error
and the workaround is no longer required.

doc: improve FAQ

conf: require sourcedir files to be terminated by newline

When reading a *.sources file require that each line is termined by the
newline character to avoid processing an unfinished line, e.g. due to an
unexpected call of the reload command when the file is being written in
place.

test: make system tests more reliable

test: update and extend 110-chronyc test

ntp: add copy option

When separate client and server instances of chronyd are running on one
computer (e.g. for security or performance reasons) and are synchronized
to each other, the server instance provides a reference ID based on the
local address used for synchronization of its NTP clock, which breaks
detection of synchronization loops for its own clients.

Add a "copy" option to specify that the server and client are closely
related, no loop can form between them, and the client should assume the
reference ID and stratum of the server to fix detection of loops between
the server and clients of the client.

ntp: clamp remote stratum

Don't set the remote stratum (used for polling adjustments) to values
larger than 16.

ntp: don't update source status with unsynchronized data

Don't update the leap and stratum used in source selection if they
indicate an unsynchronized source.

Fixes: 2582be8754ab ("sources: separate update of leap status")

refclock: drop return after LOG_FATAL

The LOG_FATAL macro expands to (emitting the message and then) exit(1).
So a return after LOG_FATAL isn't reached. Drop all those to simplify
the code a bit.

ntp: fix loop test for special reference modes

It is not sufficient to check for disabled server sockets as they are
not open only after the special reference modes end (e.g. initstepslew).

Fixes: 004986310d2a ("ntp: skip loop test if no server socket is open")

sys_linux: allow setsockopt(SOL_IP, IP_TOS) in seccomp

This system call is required by the DSCP marking feature introduced in commit
6a5665ca5877 ("conf: add dscp directive").

Before this change, enabling seccomp filtering (chronyd -F 1) and specifying a
custom DSCP value in the configuration (for example "dscp 46") caused the
process to be killed by seccomp due to IP_TOS not being allowed by the filter.

Tested before and after the change on Ubuntu 21.04, kernel 5.11.0-13-generic.
IP_TOS is available since Linux 1.0, so I didn't add any ifdefs for it.

Signed-off-by: Foster Snowhill <forst@forstwoof.ru>

doc: improve chrony.conf man page

doc: improve FAQ

Add new questions, fix typos and version-specific information.

test: extend 103-initstepslew test

test: enable valgrind in more tests

test: extend 106-refclock test

refclock: increase PPS lock limit

Increase the maximum acceptable offset of the PPS lock reference from
20% to 40% of the PPS interval to not require the refclock offset to be
specified in configuration so accurately, or enable operation with a
highly unstable reference clock.

declare variables set from signal handlers as volatile

Make sure variables set from signal handlers are not cached in
registers.

configure: use well-known file name conftest.c

... for configuration checks.  Compiler wrappers check for this name
in order to skip any instrumentation of the build that is intended
for regular source files only.

test: extend ntp_sources unit test

test: drop logging suspension

Instead of selectively suspending logging by redirecting messages to
/dev/null, increase the default minimum log severity to FATAL. In the
debug mode, all messages are printed.

cmdmon: return error if doffset command fails

cmdmon: convert doffset request to float

local: return status from offset accumulation

Change the functions accumulating offset to return success or failure.

client: report invalid values in doffset and dfreq commands

test: extend util unit test

test: use env shebang in all bash scripts

This allows the scripts to be executed on systems that don't have bash
in /bin. This fixes "make check".

test: extend 007-cmdmon system test

util: require inet_pton()

Always use inet_pton() for converting IP addresses. It should be
available on all currently supported systems.

nameserv: avoid unnecessary getaddrinfo() calls

Check if the name passed to DNS_Name2IPAddress() is an IP address
before calling getaddrinfo(), which can be much slower and work
differently on different systems.

nameserv: require getaddrinfo() and getnameinfo()

Remove support for the long-deprecated gethostbyname() and
gethostbyaddr() functions.

cmdmon: fix responding to IPv4 addresses on FreeBSD

On FreeBSD, the source address cannot be specified when sending a
message on a socket bound to a non-any IPv4 address, e.g. in default
configuration 127.0.0.1. In this case, make the address unspecified.

This is similar to commit 6af39d63aa93 ("ntp: don't use IP_SENDSRCADDR
on bound socket").

Fixes: f06c1cfa97f8 ("cmdmon: respond from same address")

main: suppress info messages with -p option

Log (to stderr) only warnings and higher when printing the
configuration to suppress the "chronyd starting" message.

sys_linux: check if statx syscall is defined

statx seems to be missing in older kernel and libseccomp headers, still
used on some supported systems.

main: warn if running with root privileges

Log a warning message if the main process has not dropped the root
privileges, i.e. when the compiled-in user or user specified by the user
directive or -u option is root.

refclock: warn if lock refid is invalid

Log a warning message if the specified lock refid doesn't match any
existing refclock or it matches the refclock which has the lock option
itself.

refclock: warn if maxlockage is too small

Log a warning message if the interval covered by the maxlockage at the
PPS rate of a refclock is shorter than driver poll of the locked
refclock.

Reported-by: Matt Corallo <ntp-lists@mattcorallo.com>

ntp: restart resolving on online command

If the online command is received when the resolver is running, start
it again as soon as it finishes instead of waiting for the timer.

This should reduce the time needed to get all sources resolved on boot
if chronyd is started before the network is online and the chronyc
online command is issued before the first round of resolving can finish,
e.g. due to an unreachable DNS server in resolv.conf.

test: extend 139-nts test

cmdmon: set certset for new sources

Add the new certset option to the cmdmon protocol.

conf: add certset option to NTP sources

Allow the set of trusted certificates to be selected for each NTP
source individually.

conf: add set selection to ntstrustedcerts

Add an optional set-ID argument to the ntstrustedcerts directive to
enable multiple sets of trusted certificates to be specified.

nts: add support for multiple sets of trusted certificates

Modify the session, NTS-KE, and NTS-NTP code to support multiple sets of
trusted certificates and identify the sets by a 32-bit ID.

configure: check for O_NOFOLLOW flag

If the O_NOFOLLOW flag used by open() is not defined, try it with
_GNU_SOURCE. This is needed with glibc-2.11 and earlier.

Reported-by: Marius Rohde <marius.rohde@meinberg.de>

sys_linux: allow statx and fstatat64 in seccomp filter

With glibc 2.33 on armhf statx and fstatat64 are triggered.
Allow this call to un-break chrony on such platforms.

Without this e.g. test 005-scfilter fails and with ltrace -rTS reports:
a)
  0.001684 SYS_397(11, 0xf75def08, 6144, 2047 <no return ...>
  0.759239 +++ killed by SIGSYS +++
b)
  0.003749 SYS_327(-100, 0xffdbcc3c, 0xffdbcb50, 0)
  0.000821 --- SIGSYS (Bad system call) ---

Current armhf syscalls from:
https://github.com/torvalds/linux/blob/v5.10/arch/arm/tools/syscall.tbl

Signed-off-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

nts: allow ntstrustedcerts to specify directory

If the specified path is a directory, load all certificates in the
directory.

nts: allow multiple files with trusted certificates

Allow the ntstrustedcerts directive to be specified multiple times.

nts: allow multiple server keys and certificates

Allow the ntsservercert and ntsserverkey directives to be specified
multiple times to enable the NTS-KE server to operate under multiple
names.

nts: define type for credentials

Add a NKSN_Credentials type to avoid referring to it as void *.

nts: split creating server and client credentials

client: fix sourcename command to accept ID addresses

Fix the command to print the name corresponding to an unresolved
address.

ntp: simplify NSR_Finalise()

ntp: limit number of sources

Don't rely on assertions and running out of memory to terminate if
an extremely large number of sources is added. Set the maximum number
to 65536 to have a practical limit where chronyd still has a chance to
appear functional with some operations having a quadratic time
complexity.

nts: reset NTP address/port if removed in NTS-KE

When an NTS-KE server stops providing the NTP address or port, change
them to the original values to avoid the client getting stuck
with a non-responding address/port.

nts: load cookies early

Instead of waiting for the first request, try to load the cookies as
soon as the instance is created, or the NTS address is changed.

This enables loading of dump files for servers that are negotiated in
NTS-KE.

nts: rework update of NTP server address

In the NTS-NTP client instance, maintain a local copy of the NTP address
instead of using a pointer to the NCR's address, which may change at
unexpected times.

Also, change the NNC_CreateInstance() to accept only the NTP port to
make it clear the initial NTP address is the same as the NTS-KE address
and to make it consistent with NNC_ChangeAddress(), which accepts only
one address.

ntp: avoid recursive update of address

Allow NSR_UpdateSourceNtpAddress() to be (indirectly) called from
NCR_CreateInstance() and NCR_ChangeRemoteAddress(). In these cases, save
the addresses and make the update later when the function calls return.

ntp: require port match in address update

In NSR_UpdateSourceNtpAddress() and other updates of the address require
that the old port matches the current source's port.

test: extend 129-reload test

sources: set reference after loading dump files

After loading the dump files with the -r option, immediately perform a
source selection with forced setting of the reference. This shortens the
interval when a restarted server doesn't respond with synchronized time.
It no longer needs to wait for the first measurement from the best
source (which had to pass all the filters).

sources: improve handling of dump files and their format

Check for write errors when saving dump files. Don't save files with no
samples. Add more sanity checks for loaded data.

Extend the file format to include an identifier, the reachability
register, leap status, name, and authentication flag. Avoid loading
unauthenticated data after switching authentication on. Change format
and order of some fields to simplify parsing. Drop fields that were kept
only for compatibility.

The dump files now contain all information needed to perform the source
selection and update the reference.

There is no support kept for the old file format. Loading of old dump
files will fail after upgrading to new version.

sources: update stratum with leap status

Remove stratum from the NTP sample and update it together with the leap
status. This enables a faster update when samples are dropped by the NTP
filters.

sourcestats: move stratum to sources

The stratum value is not needed in sourcestats. Keep it in the source
itself.

main: fix typo in comment

main: cancel clock correction before dumping sources

On exit, cancel the remaining clock correction before measurements are
saved to dumpdir to fix them for the state in which chronyd will start
again.

sys_linux: fix build with older kernel headers

The renameat2 system call was introduced in kernel version 3.15. Fix
build against older headers.

test: improve NTS tests

nts: support servers specified by IP address

Certificates can include IP addresses as alternative names to enable
clients to verify such certificates without knowing the hostname.

Accept an IP address as a name in the NTS-NTP client and modify the
session code to not set the SNI in this case.

ntp: allow replacement of sources specified by IP address

For sources specified by an IP address, keep the original address as the
source's name and pass it to the NCR instance. Allow the sources to go
through the replacement process if their address has changed.

This will be useful with NTS-KE negotiation.

The IP-based source names are now provided via cmdmon. This means
chronyc -n and -N can show two different addresses for a source.

ntp: fix NULL pointer

test: support ss as netstat replacement

netstat is considered obsolete on Linux. It is replaced by ss from
iproute. Support both tools for the test port selection.

test: fix port selection to disable grep output

test: make 120-selectoptions more reliable

Remove packet interval checks with long delays as the tests are much
more likely to end when the client is waiting for a response. Increase
the base delay to make selection with two sources more reliable.

Reported-by: Christian Ehrhardt <christian.ehrhardt@canonical.com>

socket: add debug message for unexpected control message

socket: check length of received control messages

Make sure each processed control messages has the expected length.
Beside improved safety, this should prevent potential issues with broken
timestamps on systems that support both 64-bit and 32-bit time_t.

sched: stop dispatching timeouts on exit

Check in the dispatch loop whether the need_to_exit flag was set.

sched: improve infinite loop detection

The "infinite loop in scheduling" fatal error was observed on a system
running out of memory. Presumably, the execution of the process slowed
down due to memory thrashing so much that the dispatching loop wasn't
able to break with a single server polled at a 16-second interval.

To allow recovery in such a case, require for the error more than
20 handled timeouts and a rate higher than 100 per second.

Reported-by: Jamie Gruener <jamie.gruener@biospatial.io>

rtc: log error message when driver initialisation fails