reference: rework adjustment of reference timestamp

Instead of converting the reference timestamp to the NTP format and
back, add a negative double value to the timestamp directly. Move the
code to a separate function. This will allow the timestamp to stay
outside the compiled-in NTP era, which is useful for testing of the
cmdmon protocol.

test: extend 110-chronyc test

test: add 137-pool test

test: add 013-nameserv test

test: add option to enable name/address resolving

test: add copyright header to util unit test

test: extend 105-ntpauth test

test: add debug message to ntp unit test

ntp: update setting of socket option

socket: add support for TCP sockets

TCP sockets will be needed for NTS key establishment.

socket: fix typo in union declaration

util: add debug messages to UTI_FdSetCloexec()

makefile: clean unit tests in clean target

doc: improve ntpdate answer in FAQ

sourcestats: report offset even with single sample

sourcestats: simplify SST_DoSourcestatsReport()

test: extend 130-quit test

sourcestats: enable selection with maxsamples < 3

Setting maxsamples to 1 or 2 prevented the source from being selected as
the regression would always fail. Handle this as a special case with
disabled frequency tracking in order to enable a fast reference update
with the -q/-Q option.

sourcestats: update offset estimate when regression fails

If there are too few samples to make a regression, at least update the
offset estimate from the last sample and keep the previous frequency
offset unchanged. Also, reset the error estimates.

socket: fix compiler warning

Don't define check_socket_flag() if no supported socket flag is defined.

socket: avoid unnecessary bind() call

Don't call bind() if the specified local address of a socket has port 0
and the "any" address. It will be bound automatically on connect() or
sendmsg().

socket: add support for socket() flags

On start, check if the SOCK_CLOEXEC and SOCK_NONBLOCK flags are
supported in the socket() call and use them instead of fcntl() in order
to reduce the number of system calls required to send a client request.

socket: make all sockets non-blocking

All networking code in chronyd (NTP server/client, signd client, cmdmon
server) assumes sending a message will not block, but only the signd
client actually checks for a write event and only the NTP server
requests a non-blocking socket. The cmdmon server and NTP client
(if using one socket for all servers) might be blocked.

chronyc doesn't need a non-blocking socket, but it is not expected to
block as it sends only one message at a time.

Prefer dropped messages over blocking in all cases. Remove the
SCK_FLAG_NONBLOCK flag and make all sockets non-blocking.

ntp: improve debug messages with port number

util: move and improve sockaddr-specific functions

Move the functions to socket.c and improve them to require and check the
sockaddr length.

util: remove UTI_SockaddrToString()

It is no longer used after the conversions.

client: convert to new socket API

refclock: remove SOCK socket on exit

refclock: convert SOCK to new socket API

cmdmon: respond from same address

Enable the destination address of received messages in order to respond
from the same address on multihomed hosts.

cmdmon: convert to new socket API

ntp: convert to new socket API

Rework the NTP I/O code to use the new socket support. There are
differences in debug messages and handling of some errors.

socket: add new socket support

Add a new file implementing support for opening sockets, sending and
receiving messages with control messages (e.g. addresses, timestamps),
and related operations, which should be simpler to use than the system
functions and allow their features to be reused between different parts
of the chrony code.

It is based on the ntp_io.c and ntp_io_linux.c files. It will be used by
the NTP client/server, cmdmon server, client, and others.

util: add UTI_IPSockAddrToString()

This function prints an IPSockAddr. IPv6 addresses are printed in
brackets to separate the address from the port.

addressing: introduce IPSockAddr

Rename NTP_Remote_Address to IPSockAddr to make it usable in non-NTP
context and provide NTP_Remote_Address for compatibility. Also, change
the type of port to uint16_t.

cmdmon: limit rate of all responses

Include responses to invalid requests in the rate limiting enabled by
the cmdratelimit directive.

cmdmon: don't require bound UDP socket

Don't abort on start when no UDP socket could be opened/bound for
cmdmon. The Unix socket is more important and with the IP_FREEBIND
option this case was not caught anyway.

privops: add assertion for bind address length

test: fix building of unit tests

This fixes commit 1227873b8810ed0f82d4b85a3c19c9562fda0b91.

doc: improve chronyd man page

main: add option to specify minimum log severity level

The -L option can be used to disable logging of less severe messages,
e.g informational or warnings.

logging: refactor enabling of debug messages

Reorder the LOGS_Severity enum in order of severity and change the code
to not log/print messages with severity below the specified minimum
instead of having a separate debug level.

nameserv: request SOCK_DGRAM socktype

Specify SOCK_DGRAM socktype instead of SOCK_STREAM in hints for
getaddrinfo() as chronyd is (and will mainly be) using the returned
addresses to open UDP sockets. This shouldn't make a difference in
practice, but it might avoid some confusion.

configure: fix warnings in tests

Fix some warnings in configure tests reported by clang and coverity
static analyzer.

test: update processing of packet log

Two new fields have been added to the packet log, which broke some
of the simulation tests.

doc: update NEWS

update copyright years

doc: add note about minsamples to FAQ

refclock: remove unnecessary strlen() call

test: extend 133-hwtimestamp test

ntp: check value returned by CMSG_FIRSTHDR

In NIO_Linux_RequestTxTimestamp(), check the returned pointer and the
length of the buffer before adding the control message. This fixes an
issue reported by the Clang static analyzer.

ntp: check timestamping configuration when SIOCSHWTSTAMP fails

With future kernels it may be possible to get, but not set, the HW
timestamping configuration on some specific interfaces like macvlan in
containers. This would require the admin to configure the timestamping
before starting chronyd.

If SIOCSHWTSTAMP failed on an interface, try SIOCGHWTSTAMP to check if
the current configuration matches the expected configuration and allow
the interface to be used for HW timestamping.

examples: remove /var from PIDFile in chronyd.service

Recent systemd versions complain when loading a unit using a PIDFile
that relies on the /var/run -> /run symlink.

doc: update NEWS

doc: add more recommendations for best stability to FAQ

doc: update list of contributors

Include all authors from the git repository.

doc: simplify acknowledgements in README

Stop trying to maintain a list of individual contributions. Just list
the contributors. For tracking individual changes in the source code
there is git.

doc: list build requirements in installation

doc: improve combinelimit description

doc: improve rtconutc description

test: use env in shebang of system tests

This should allow the tests to run on systems where bash is not in /bin.

test: add 104-systemdirs system test

test: fix owner of driftfile and keys in system tests

test: allow separate lib/log/run directories in system tests

test: check if non-root user can access test directory

test: redirect error messages in system tests

test: allow TEST_DIR and CHRONYC_WRAPPER to be set for system tests

sys_posix: support SCHED_FIFO and mlockall on more OSs

Real-time scheduling and memory locking is available on posix compliant
OSs. This patch centralizes this functionality and brings support to
FreeBSD, NetBSD, and Solaris.

[ML: updated coding style]

refclock: check all driver options

In each driver provide a list of supported options and abort when an
unknown option is specified in the refclock directive.

doc: fix syntax of refclock directive

When multiple driver options are specified, they need to be separated by
colon, not comma.

test: add system tests

Add a new set of tests for testing basic functionality, starting chronyd
with root privileges on the actual system instead of the simulator.

Tests numbered in the 100-199 range are considered destructive and
intended to be used only on machines dedicated for development or
testing. They are started by the run script only with the -d option.
They may adjust/step the system clock and other clocks, block the RTC,
enable HW timestamping, create SHM segments, etc.

Other tests should not interfere with the system and should work even
when another NTP server/client is running.

sys_linux: use pthread_setschedparam instead of sched_setscheduler

Fix an issue with Linux and musl libc where sched_setscheduler is not
implemented. It seems that pthread_setschedparam is more widely
supported across different C libraries and OSs. For our use case, it
should make no difference which call is used.

sys_linux: allow further syscalls in seccomp filter

These are needed on arm64.

sys_linux: allow recv and send in seccomp filter

sys_linux: allow waitpid in seccomp filter

sys_linux: allow _llseek in seccomp filter

This is needed on various 32-bit platforms to reposition read/write file
offset on {raw}measurements and statistics log files.

test: fix distribution of settings in ntp_core unit test

ntp: don't use IP_SENDSRCADDR on bound socket

On FreeBSD, sendmsg() fails when IP_SENDSRCADDR specifies a source
address on a socket that is bound to the address. This prevents a server
configured with the bindaddress directive from responding to clients.

Add a new variable to check whether the server IPv4 socket is not bound
before setting the source address.

sys_linux: add support for PTP_SYS_OFFSET_EXTENDED ioctl

A new ioctl will probably be added in Linux 4.21. It should enable a
significantly more accurate measurement of the offset between PHC and
system clock.

sys_linux: split reading and processing of PHC samples

ntp: fix transposition with timestamping packet info

Don't forget to include the length of the frame check sequence (FCS) in
the RX timestamp transposition when the L2 length of the received packet
is from SCM_TIMESTAMPING_PKTINFO.

This fixes commit 934d4047f12741f4052e35c7975f72c5307b3e68.

sys_macosx: remove adjtime() check

Remove the runtime checking of adjtime(). adjtime() was broken in beta
releases of macOS 10.13 but is ok now.

test: fix tests to skip when missing required feature

test: allow unit tests to be skipped

test: add function for checking config.h in tests

test: include util.h for MIN macro

nameserv: adopt some include directives from sysincl.h

Move headers specific to name resolving to nameserv.c. This should hide
the system MIN/MAX macros from the rest of the code.

hash: include util.h for MIN macro

The hash_intmd5.c file inadvertently relied on the system headers to
provide the MIN macro, but it is missing with some libc implementations.

test: fix Makefile to not create .deps in project root

doc: add new question to FAQ

doc: improve description of minsamples directive

test: add 136-broadcast test

test: add 012-daemonts test

test: improve Makefile

The -s option of make apparently doesn't work when called from make -C.
Add another filter to ignore the Entering/Leaving messages.

Also, fix a typo.

test: include all objects in prerequisites of unit tests

test: get list of objects from main Makefile

Instead of linking unit tests with *.o in the root directory, which may
include conflicting objects from a different configuration (e.g. hash),
add a print target to the main Makefile and use it in the unit test
Makefile to link only with objects that are relevant in the current
configuration.

test: add 135-ratelimit test

test: add 134-log test

test: extend 110-chronyc test

git: update .gitignore