util: add function for dropping root privileges

Share the code for dropping supplementary groups and setting effective,
saved, and real user UID/GID between system drivers.

main: initialise privops sooner

System drivers may need it in their initialisation.

sys_macosx: fix adjustment correction after step

The desired offset was being added to the current time instead of being
subtracted.

main: fix compiler warning

sys_netbsd: use privileged helper for socket binding

When dropping root privileges, start the helper to allow binding
of server sockets later.

configure: rework setting of privops macros

Prepare a list of required privileged operations first and from that
define the PRIVOPS macros. This will reduce the amount of code that will
be needed when the privileged helper is used on other platforms.

configure: fix check of date output

privops: refactor initialisation/finalisation

Rename PRV_Initialise() to PRV_StartHelper() and add a new
initialisation function, which just sets the helper fd to -1. Move
the initialision/finalisation calls from the system drivers to main.c.
If privops is not included in the build, define empty macros for the
function names, so their calls don't have to be wrapped in #ifdefs.

privops: wait for helper pid

Save the pid of the helper process and replace wait() with waitpid().

privops: stop helper on exit

With SOCK_DGRAM sockets, the helper doesn't stop as there is no error
received when the socket is closed on the daemon side.

Add a QUIT operation to the protocol which is requested when the daemon
is exiting. It has no response. Register the stopping function with
atexit() to stop the helper even when the daemon is not exiting cleanly,
e.g. due to a fatal error.

privops: split send_to_helper()

Split out the sending part of the function into send_request() and
rename it to submit_request(). This will be useful to send a request
without waiting for a response.

Also, remove the fd parameter from the functions and just use helper_fd
directly.

privops: use SOCK_SEQPACKET sockets when supported

SOCK_SEQPACKET is preferred over SOCK_DGRAM for communication with the
helper as the process will get an error when the other end of the socket
is closed. It's not supported on all platforms.

If SOCK_SEQPACKET is defined, try creating the pair of sockets with this
type first and if that fails, fall back to SOCK_DGRAM.

sys_linux: allow mremap in seccomp filter

sys_macosx: synchronise RTC from system time

When the rtcsync directive is specified in the chronyd config file,
chronyd will update the RTC via settimeofday() every 60 minutes if
the system time is synchronised to NTP.

client: print invalid intervals as dash

Instead of printing some large arbitrary values use dash in the LastRx
column of the sources output and the Last/Int columns in the clients
output when no sample or hit is recorded.

sourcestats: use maximum value as invalid age in source report

clientlog: fix counting of command drops

clientlog: save time of last hit with sub-second resolution

Instead of time_t use a 32-bit fixed point representation with 4-bit
fraction to save the time of the last hit. The rate can now be measured
up to 16 packets per second. Maximum interval between hits is about 4
years.

conf: inline one-line parse_* functions

main: assert supported integer size, representation and conversion

Abort immediately on start if chronyd is compiled on a platform with int
shorter than 32 bits, using other representation than two's complement,
or unexpected conversion of large unsigned integers to signed.

fix undefined shift operations on signed integers

array: always return non-NULL pointer from ARR_GetElements()

Some libc calls like memcpy() expect the pointer to be valid even when
the size is zero and there is nothing to do. Instead of checking the
size before all such calls, modify ARR_GetElements() to return a pointer
to the array instance itself if data was not allocated yet.

contrib: update chronylogrotate.sh script

1. Remove obsolete options when running chronyc
2. Add copyright/licence notice
3. Use logger utility to print/store error messages

cmdmon: update CLIENT_ACCESSES_BY_INDEX command

Add new fields from clientlog to the report and print them in chronyc.
Rework the code to skip empty records in the hash table. The reply no
longer has variable length, all client fields are filled even if some
are empty. Reply with RPY_NULL when the facility is disabled.

clientlog: limit response rate

When the measured NTP or command request rate of a client exceeds
a threshold, reply only to a small fraction of the requests to reduce
the network traffic. Clients are allowed to send a burst of requests.
Try to detect broken clients which increase the request rate when not
getting replies and suppress the rate limiting for them.

Add ratelimit and cmdratelimit directives to configure the thresholds,
bursts and leak rates independently for NTP and command response rate
limiting. Both are disabled by default. Commands from localhost are
never limited.

clientlog: measure request rates

Extend the record with estimates of the current client's NTP and command
request rates. Store them as 8-bit scaled log2 values to save memory.

clientlog: store records in hash table instead of tree

This simplifies the code and allows older records to be reused when no
more memory can be allocated for new addresses. Each slot of the hash
table has 16 records and there is no chaining between different slots.
Reused records may be newer than records in other slots, but the search
time remains constant.

clientlog: reduce amount of logged information

Don't log NTP peer access and auth/bad command access. Also, change
types for logging number of hits from long to uint32_t. This reduces the
size of the node and allows more clients to be monitored in the same
amount of memory.

conf: don't allow disabling clientloglimit

Don't treat zero as a special value disabling clientloglimit. It's not
useful, the amount of available memory is never unlimited.

util: add macros for maximum, minimum and clamp

If MAX/MIN are defined in system headers, undefine them first.

util: add function for IP address hashing

Move the hashing function from find_slot() in ntp_sources to make it
available to clientlog and improve the hashing a bit.

cmdmon: tidy up declarations in read_from_cmd_socket()

sys_macosx: tidy up includes

Use "sysincl.h" in place of the common system include files

sys_macosx: drop root privileges

Run chronyd as a non-privileged user, using the privops helper to
perform adjtime(), settimeofday() and bind() functions on its behalf.

add support for privilege separation

Privileged helper that will perform adjtime(), settimeofday(), bind() on
behalf of chronyd when running as non-root user.

sys_linux: allow ioctl(TCGETS) in seccomp filter

This seems to be needed to allow fopen() called on /dev/urandom to check
if it's a terminal.

conf: don't allow invalid last refclock option

ntp: ignore poll in KoD RATE packets

The meaning of the poll value in KoD RATE packets is not currently
defined in the NTP specification (RFC 5905). In the reference NTP
implementation it signals the minimum acceptable polling interval to the
clients. In chrony the minimum poll is set to the KoD RATE poll if it's
larger, but not to a larger value than 10.

The problem is that ntpd as a server sets the KoD RATE poll to the
maximum of the client's poll and the configured rate limiting interval.
An attacker can send a burst of spoofed packets to the server to trigger
the client's request rate limit. When the client sends its next request
and the server responds with a KoD RATE packet, the client will set its
minimum poll to the current poll and it will no longer be able to switch
to a shorter poll when needed.

ntpd could be fixed to always set the KoD RATE poll to the rate limiting
interval. Unfortunately, ntpd as a client seems to depend on the current
behavior. It tries to follow the server poll and if the KoD RATE poll
was shorter than the current poll, the polling interval would be
reduced, defeating the purpose of KoD RATE. The server fix will probably
need to wait until clients are fixed and that could take a very long
time.

For now, ignore the poll value in KoD RATE packets. Just add an extra
delay based on the current poll to the next transmit timeout and stop an
ongoing burst.

doc: update description of offline command

Reachability and online/offline mode has no effect on source selection
since version 2.0.

ntp: adjust initial delay for polling interval

First packet after setting a source to online was sent with constant
delay (0.2s). If the period in which the source was offline was shorter
than the current polling interval, the new packet was sent sooner than
it would be if the source wasn't switched to offline and back.

Don't reset the local tx timestamp when mode is changed. When starting
the initial transmit timeout, adjust the delay to make the interval
between the two packets at least as long as the current polling
interval.

sched: update timeout randomization

Use UTI_GetRandomBytes() instead of random() to calculate the random
part of the timeout. This was the only remaining use of random() in the
code and the srandom() call can be removed.

ntp: don't reveal local clock in client packets

In client packets set the leap, stratum, reference ID, reference time,
root delay and root dispersion to constant values to not reveal the
state of the synchronization. Use precision 32 to make the receive and
transmit timestamps completely random and not reveal the local time.

util: rework timestamp fuzzing

Use UTI_GetRandomBytes() instead of random() to generate random bits
below precision. Save the result in NTP_int64 in the network order and
allow precision in the full range from -32 to 32. With precision 32
the fuzzing now makes the timestamp completely random and can be used to
hide the time.

util: add function to generate random bytes

Add a function to fill a buffer with random bytes which uses a better
PRNG than random(). Use arc4random() if it's available on the system.
Fall back to reading from /dev/urandom, which should be available on
all currently supported systems.

ntp: don't keep client sockets open for longer than necessary

After sending a client packet, schedule a timeout to close the socket
at the time when all server replies would fail the delay test, so the
socket is not open for longer than necessary (e.g. when the server is
unreachable). With the default maxdelay of 3 seconds the timeout is 7
seconds.

ntp: check remote interval in client mode

For testA in the client mode require also that the time the server
needed to process the client request is not longer than 4 seconds.
With maximum peer delay this limits the interval in which the client can
accept a server reply.

sched: use shorter data type for timeout IDs

sched: don't allow SCH_RemoveTimeout() with invalid non-zero ID

sched: don't return currently used timeout ID

To avoid problems in the very unlikely case where a timeout is so long
and new IDs are allocated so frequently that they would have a chance
to overflow and catch up with it, make sure before returning new ID that
it's currently not in use.

sched: always return non-zero timeout ID

Timeout ID of zero can be now safely used to indicate that the timer is
not running. Remove the extra timer_running variables that were
necessary to track that.

sys_linux: allow more syscalls in seccomp filter

These seem to be needed by getaddrinfo() in default NSS configuration
on recent Fedora.

doc: update NEWS

configure: disable scfilter by default

As an experimental feature it should be explicitly enabled.

client: add debug message for recv() error

doc: add minimum recommended configuration to FAQ

doc: include chrony version in manual title

doc: update comparison with ntpd

doc: remove obsolete section on contributing

doc: improve maxdistance description

logging: don't ignore message severity with debug support

The severity was fixed for all messages to LOGS_DEBUG. This was broken
in commit 7b2430fc3c44bc7f5fc3b6ca2b478cdea77ef841.

configure: check for struct in_pktinfo with ipi_spec_dst

On NetBSD there is a struct in_pktinfo, but it doesn't have the
ipi_spec_dst field and it breaks compilation.

configure: improve description of struct in6_pktinfo check

configure: include IPV6_PKTINFO in struct in6_pktinfo check

doc: update NEWS

examples: use one-second check interval in chrony-wait.service

configure: make default hwclockfile configurable

rtc: improve logging

Improve, shorten, or convert to debug log messages.

client: make waitsync check interval configurable

rtc: restore time from driftfile if later than RTC time

This is useful on computers that have an RTC, but there is no battery to
keep the time when they are turned off and start with the same time on
each boot.

rtc: don't run time_init function if pre_init failed

doc: reduce makestep threshold in examples to 1 second

sys_linux: abort when loading seccomp rules fails

doc: update NEWS

doc: update README

update copyright years

client: remove unreachable code

client: don't try sending request with invalid socket

client: don't shorten default timeout with ASYNCDNS

With connected sockets recv() should fail immediately if chronyd is not
listening on localhost and with the Unix socket connecting should fail.

stubs: add NSR_RefreshAddresses()

stubs: don't call DNS_Name2IPAddress handler directly

Instead of calling the handler directly schedule a timeout with zero
delay for resolving to make the function behave similarly to the real
asynchronous resolver. This should prevent problems with code that
inadvertently depends on this behavior and which would break only when
compiled without support for asynchronous resolving.

client: improve signal handling

After receiving a signal, don't process new command from readline() and
break from waitsync command.

doc: document refresh command

client: update help text

cmdmon: add refresh command

This command can be used to resolve the names of configured sources to
IP addresses again.

client: fix compiler warning on extra printf argument

doc: update for recent changes

client: update help text

Update the text for recent changes, add missing commands and indent the
description in the output.

logging: don't save debugging arguments when debug is disabled

Don't save the facility number, line number, function name and filename
in the compiled binary unless the debugging support is enabled.

sys: use NetBSD driver on FreeBSD

The NetBSD driver now provides fast slewing using adjtime(), which
can be used on FreeBSD too.

sys_netbsd: add fast slewing based on adjtime()

Implement slewing based on adjtime() that the generic driver can use to
correct offsets larger than 1 second with 5000 ppm slewing rate.

sys_generic: allow fast slewing with system driver

The system drivers may implement their own slewing which the generic
driver can use to slew faster than the maximum frequency the driver is
allowed to set directly.

sys_solaris: use timex driver

Remove driver functions based on adjtime() and switch to the new timex
driver. The kernel allows the timex frequency to be set in the full
range of int32_t, which gives a maximum frequency of 32768 ppm. Round
the limit to 32500 ppm.

sys_timex: set timex constant on Solaris

The kernel apparently checks the constant even when it's not being set
with MOD_TIMECONST and may return EINVAL on an uninitialized value.

client: fix binding of Unix socket on Solaris

bind() needs to be called before connect(), otherwise it fails with
EINVAL.

fix building on Solaris

- a feature test macro is needed to get msg_control in struct msghdr
- variables must not be named sun to avoid conflict with a macro
- res_init() needs -lresolv
- configure tests for IPv6 and getaddrinfo need -lsocket -lnsl
- pid_t is defined as long and needs to be cast for %d format

clean up sysincl.h more

Define feature test macros in config.h if needed.

configure: check if C compiler works

Check if the C compiler works to get a useful error message when it
doesn't or it's missing. If the CC environment variable is not set, try
gcc and then cc.

configure: prefix error messages

configure: don't set any arch-specific CFLAGS

configure: ignore architecture in system selection

Assume chrony can be compiled and work on all architectures supported by
the operating systems.