util: add functions for common file operations

Add a function to open a file for reading, writing, or appending.
In uppercase modes errors are handled as fatal, i.e. the caller doesn't
need to check for NULL. To avoid string manipulations in the callers,
the function accepts an optional directory and suffix. New files are
created with specified permissions, which will be needed for saving
keys. The O_EXCL flag is used in the writing mode to make sure a new
file is created (on filesystems that support it).

Also, add a function to rename a temporary file by changing its suffix,
and a function to remove a file.

All functions log all errors, at least as debug messages.

rtc: don't clone file attributes of rtc file

When replacing an existing rtc file with the temporary file, don't
change the ownership or permissions of the temporary file to match the
old rtc file, as if it didn't exist.

reference: don't clone file attributes of drift file

When replacing an existing drift file with the temporary file, don't
change the ownership or permissions of the temporary file to match the
old drift file, as if it didn't exist.

use PATH_MAX

Include <limits.h> and use the PATH_MAX macro to define the length of
buffers containing paths to make it constistent. (It's not supposed to
fit all possible paths.)

logging: include <syslog.h>

Move the inclusion of <syslog.h> from sysincl.h to logging.c to avoid
accidentally using the LOG_* constants from the header.

logging: make banner printing safer

Don't rely on the buffer filled with '=' characters to be always at
least as long as the log-specific banner string.

logging: call exit() in LOG_Message()

Call exit() in LOG_Message() after printing a fatal message to allow the
LOG macro or LOG_Message() to be used directly instead of the LOG_FATAL
macro.

test: extend 110-chronyc test

test: extend 105-ntpauth test

test: extend keys unit test

test: add cmac unit test

client: add CMAC support to keygen command

Allow a CMAC cipher to be specified in the keygen command. Ignore the
specified length as the key length is determined by the cipher.

keys: add support for CMAC keys

Allow a cipher (AES128 or AES256) to be specified as the type of a key
in the key file to authenticate NTP packets with a CMAC instead of the
NTPv4 (RFC 5905) MAC using a hash function. This follows RFC 8573.

cmac: add support for Nettle

Add support for AES128 and AES256 CMAC in Nettle.

cmac: add CMAC interface

Add cmac.h and stubs for cipher-based message authentication code
(CMAC).

keys: don't fudge authentication delay

Remove the magic constant compensating for copying, conversions, etc.
It cannot possibly be accurate on all hardware. The delay is supposed to
be a minimum delay.

hash: drop support for RIPEMD hash functions

An analysis by Tim Ruffing [1] shows that a length extension attack
adding valid extension fields to NTPv4 packets is possible with some
specific key lengths and hash functions using little-endian length like
MD5 and RIPEMD160.

chronyd currently doesn't process or generate any extension fields, but
it could be a problem in future when a non-authentication extension
field is supported.

Drop support for all RIPEMD functions as they don't seem to be secure in
the context of the NTPv4 MAC. MD5 is kept only for compatibility.

[1] https://mailarchive.ietf.org/arch/msg/ntp/gvibuB6bTbDRBumfHNdJ84Kq4kA

makefile: improve coding style

makefile: refactor to support extra client-specific objects

configure: move duplicated libraries to LIBS

configure: remove unused variables

test: disable server on client-only nodes by default

test: add 138-syncloop test

test: allow nodes to poll themselves

test: remove subdirectories in tmp directory

ntp: skip loop test if no server socket is open

If there is no socket that could receive a request from a client or
peer, we know that nothing can be synchronized to us and no loop is
possible.

ntp: prevent synchronization to itself

Improve the client's test D to compare the stratum, reference ID,
reference timestamp, and root delay from the received packet with its
own reference data in order to prevent it from synchronizing to itself,
e.g. due to a misconfiguration.

reference: make local reference timestamp consistent

In the local reference mode, instead of returning the adjusted current
time as the reference time, return the same timestamp updated only once
per about 62.5 seconds.

This will enable chronyd to detect polling of itself even when the local
reference mode is active.

reference: rework adjustment of reference timestamp

Instead of converting the reference timestamp to the NTP format and
back, add a negative double value to the timestamp directly. Move the
code to a separate function. This will allow the timestamp to stay
outside the compiled-in NTP era, which is useful for testing of the
cmdmon protocol.

test: extend 110-chronyc test

test: add 137-pool test

test: add 013-nameserv test

test: add option to enable name/address resolving

test: add copyright header to util unit test

test: extend 105-ntpauth test

test: add debug message to ntp unit test

ntp: update setting of socket option

socket: add support for TCP sockets

TCP sockets will be needed for NTS key establishment.

socket: fix typo in union declaration

util: add debug messages to UTI_FdSetCloexec()

makefile: clean unit tests in clean target

doc: improve ntpdate answer in FAQ

sourcestats: report offset even with single sample

sourcestats: simplify SST_DoSourcestatsReport()

test: extend 130-quit test

sourcestats: enable selection with maxsamples < 3

Setting maxsamples to 1 or 2 prevented the source from being selected as
the regression would always fail. Handle this as a special case with
disabled frequency tracking in order to enable a fast reference update
with the -q/-Q option.

sourcestats: update offset estimate when regression fails

If there are too few samples to make a regression, at least update the
offset estimate from the last sample and keep the previous frequency
offset unchanged. Also, reset the error estimates.

socket: fix compiler warning

Don't define check_socket_flag() if no supported socket flag is defined.

socket: avoid unnecessary bind() call

Don't call bind() if the specified local address of a socket has port 0
and the "any" address. It will be bound automatically on connect() or
sendmsg().

socket: add support for socket() flags

On start, check if the SOCK_CLOEXEC and SOCK_NONBLOCK flags are
supported in the socket() call and use them instead of fcntl() in order
to reduce the number of system calls required to send a client request.

socket: make all sockets non-blocking

All networking code in chronyd (NTP server/client, signd client, cmdmon
server) assumes sending a message will not block, but only the signd
client actually checks for a write event and only the NTP server
requests a non-blocking socket. The cmdmon server and NTP client
(if using one socket for all servers) might be blocked.

chronyc doesn't need a non-blocking socket, but it is not expected to
block as it sends only one message at a time.

Prefer dropped messages over blocking in all cases. Remove the
SCK_FLAG_NONBLOCK flag and make all sockets non-blocking.

ntp: improve debug messages with port number

util: move and improve sockaddr-specific functions

Move the functions to socket.c and improve them to require and check the
sockaddr length.

util: remove UTI_SockaddrToString()

It is no longer used after the conversions.

client: convert to new socket API

refclock: remove SOCK socket on exit

refclock: convert SOCK to new socket API

cmdmon: respond from same address

Enable the destination address of received messages in order to respond
from the same address on multihomed hosts.

cmdmon: convert to new socket API

ntp: convert to new socket API

Rework the NTP I/O code to use the new socket support. There are
differences in debug messages and handling of some errors.

socket: add new socket support

Add a new file implementing support for opening sockets, sending and
receiving messages with control messages (e.g. addresses, timestamps),
and related operations, which should be simpler to use than the system
functions and allow their features to be reused between different parts
of the chrony code.

It is based on the ntp_io.c and ntp_io_linux.c files. It will be used by
the NTP client/server, cmdmon server, client, and others.

util: add UTI_IPSockAddrToString()

This function prints an IPSockAddr. IPv6 addresses are printed in
brackets to separate the address from the port.

addressing: introduce IPSockAddr

Rename NTP_Remote_Address to IPSockAddr to make it usable in non-NTP
context and provide NTP_Remote_Address for compatibility. Also, change
the type of port to uint16_t.

cmdmon: limit rate of all responses

Include responses to invalid requests in the rate limiting enabled by
the cmdratelimit directive.

cmdmon: don't require bound UDP socket

Don't abort on start when no UDP socket could be opened/bound for
cmdmon. The Unix socket is more important and with the IP_FREEBIND
option this case was not caught anyway.

privops: add assertion for bind address length

test: fix building of unit tests

This fixes commit 1227873b8810ed0f82d4b85a3c19c9562fda0b91.

doc: improve chronyd man page

main: add option to specify minimum log severity level

The -L option can be used to disable logging of less severe messages,
e.g informational or warnings.

logging: refactor enabling of debug messages

Reorder the LOGS_Severity enum in order of severity and change the code
to not log/print messages with severity below the specified minimum
instead of having a separate debug level.

nameserv: request SOCK_DGRAM socktype

Specify SOCK_DGRAM socktype instead of SOCK_STREAM in hints for
getaddrinfo() as chronyd is (and will mainly be) using the returned
addresses to open UDP sockets. This shouldn't make a difference in
practice, but it might avoid some confusion.

configure: fix warnings in tests

Fix some warnings in configure tests reported by clang and coverity
static analyzer.

test: update processing of packet log

Two new fields have been added to the packet log, which broke some
of the simulation tests.

doc: update NEWS

update copyright years

doc: add note about minsamples to FAQ

refclock: remove unnecessary strlen() call

test: extend 133-hwtimestamp test

ntp: check value returned by CMSG_FIRSTHDR

In NIO_Linux_RequestTxTimestamp(), check the returned pointer and the
length of the buffer before adding the control message. This fixes an
issue reported by the Clang static analyzer.

ntp: check timestamping configuration when SIOCSHWTSTAMP fails

With future kernels it may be possible to get, but not set, the HW
timestamping configuration on some specific interfaces like macvlan in
containers. This would require the admin to configure the timestamping
before starting chronyd.

If SIOCSHWTSTAMP failed on an interface, try SIOCGHWTSTAMP to check if
the current configuration matches the expected configuration and allow
the interface to be used for HW timestamping.

examples: remove /var from PIDFile in chronyd.service

Recent systemd versions complain when loading a unit using a PIDFile
that relies on the /var/run -> /run symlink.

doc: update NEWS

doc: add more recommendations for best stability to FAQ

doc: update list of contributors

Include all authors from the git repository.

doc: simplify acknowledgements in README

Stop trying to maintain a list of individual contributions. Just list
the contributors. For tracking individual changes in the source code
there is git.

doc: list build requirements in installation

doc: improve combinelimit description

doc: improve rtconutc description

test: use env in shebang of system tests

This should allow the tests to run on systems where bash is not in /bin.

test: add 104-systemdirs system test

test: fix owner of driftfile and keys in system tests

test: allow separate lib/log/run directories in system tests

test: check if non-root user can access test directory

test: redirect error messages in system tests

test: allow TEST_DIR and CHRONYC_WRAPPER to be set for system tests

sys_posix: support SCHED_FIFO and mlockall on more OSs

Real-time scheduling and memory locking is available on posix compliant
OSs. This patch centralizes this functionality and brings support to
FreeBSD, NetBSD, and Solaris.

[ML: updated coding style]

refclock: check all driver options

In each driver provide a list of supported options and abort when an
unknown option is specified in the refclock directive.

doc: fix syntax of refclock directive

When multiple driver options are specified, they need to be separated by
colon, not comma.

test: add system tests

Add a new set of tests for testing basic functionality, starting chronyd
with root privileges on the actual system instead of the simulator.

Tests numbered in the 100-199 range are considered destructive and
intended to be used only on machines dedicated for development or
testing. They are started by the run script only with the -d option.
They may adjust/step the system clock and other clocks, block the RTC,
enable HW timestamping, create SHM segments, etc.

Other tests should not interfere with the system and should work even
when another NTP server/client is running.

sys_linux: use pthread_setschedparam instead of sched_setscheduler

Fix an issue with Linux and musl libc where sched_setscheduler is not
implemented. It seems that pthread_setschedparam is more widely
supported across different C libraries and OSs. For our use case, it
should make no difference which call is used.