update NEWS

update README

update copyright years

ntp: optimize resizing of hash table with sources

sys_generic: use privops for settimeofday()

This is needed on FreeBSD and Solaris when running without root
privileges.

clientlog: fix warning reported by static analyzer

client: fix format specifiers in client report

This was missing in commit 861ac013bcc54fa7b3c92cc4b43a8e2071885907.

cmdmon: update protocol changelog

cmdmon: define new types for CLIENT_ACCESSES_BY_INDEX command

There was an incompatible change in the client access report. To avoid
bumping the protocol version drop support for the original request/reply
types and define new CLIENT_ACCESSES_BY_INDEX2 types as a newer version
of the command.

cmdmon: allow unhandled commands

Replace the assert() with a debug message to not crash if someone
forgets to implement a newly defined command.

cmdmon: reply to invalid commands

If an unknown command is received (e.g. from a future client), it should
get a reply and print an error code instead of timing out.

cmdmon: update debug messages

cmdmon: use 32-bit fields in client access report

The clientlog record still uses 16-bit integers to count dropped
packets, but this will avoid an incompatible change in the command
reply if there will be a need to count more than 2^16 drops.

clientlog: don't allow rate limiting with noclientlog

doc: update description of clients command

doc: describe rate limiting directives

examples: update for recent changes

doc: update keyfile description

conf: set logchange to 1 second by default

logchange is now always enabled, with 1 second threshold by default.

client: generate key 1 by default in keygen command

keys: warn about short key only if used by source

After restricting authentication of servers and peers to the specified
key, a short key in the key file is a security problem from the client's
point of view only if it's specified for a source.

pktlength: fix compiler warning on Mac OS X

cmdmon: extend initialisation tests

pktlength: rework code to use tables

client: add serverstats command

cmdmon: add serverstats command

Add a new command to obtain a server report with the new clientlog
statistics.

clientlog: count total number of hits and drops

Count total number of NTP and command hits. Count also number of log
records that were replaced when the hash table couldn't be resized due
to the memory limit.

Merge branch '2.2-security'

doc: update NEWS

test: extend 105-ntpauth to test symmetric mode

test: allow setting options for each peer side separately

ntp: restrict authentication of server/peer to specified key

When a server/peer was specified with a key number to enable
authentication with a symmetric key, packets received from the
server/peer were accepted if they were authenticated with any of
the keys contained in the key file and not just the specified key.

This allowed an attacker who knew one key of a client/peer to modify
packets from its servers/peers that were authenticated with other
keys in a man-in-the-middle (MITM) attack. For example, in a network
where each NTP association had a separate key and all hosts had only
keys they needed, a client of a server could not attack other clients
of the server, but it could attack the server and also attack its own
clients (i.e. modify packets from other servers).

To not allow the server/peer to be authenticated with other keys
extend the authentication test to check if the key ID in the received
packet is equal to the configured key number. As a consequence, it's
no longer possible to authenticate two peers to each other with two
different keys, both peers have to be configured to use the same key.

This issue was discovered by Matt Street of Cisco ASIG.

privops: reload DNS configuration

The helper process needs to call res_init() before DNS_Name2IPAddress()
in order to see changes in resolv.conf.

client: improve waitsync help text

client: add keygen command

Add a new command that will generate a random key from /dev/urandom with
given ID, hash function and length.

util: add UTI_GetRandomBytesUrandom()

This function always uses /dev/urandom, even if arc4random() is
available, and is intended for generating long-term keys.

keys: warn when loaded key is shorter than 80 bits

Consider 80 bits as the absolute minimum for a secure symmetric key.  If
a loaded key is shorter, send a warning to the system log to encourage
the admin to replace it with a longer key.

sys_linux: use privops helper when running with seccomp filter

Enable the PRV_Name2IPAddress() function with seccomp support and start
the helper process before loading the seccomp filter (but after dropping
root privileges). This will move the getaddrinfo() call outside the
seccomp filter and should make it more reliable as the list of required
system calls won't depend on what glibc NSS modules are used on the
system.

privops: add support for privileged DNS_Name2IPAddress()

nameserv: return at most 16 addresses from DNS_Name2IPAddress()

This is the same limit as in the asynchronous resolver. Use common macro
for all buffers storing IP addresses.

test: don't check packet intervals in 009-sourceselection

Since commit 8b235297, which changed address hashing, the first packet
is not sent to the first server and doesn't have the extra delay. If the
last packet is sent to the first server, the mean outgoing interval will
be significantly longer than the incoming interval and the check will
fail.

test: add 120-selectoptions

sources: add require option

Require that at least one of the sources specified with this option is
selectable (i.e. recently reachable and not a falseticker) before
updating the clock. Together with the trust option this may be useful to
allow a trusted, but not very precise, reference clock or a trusted
authenticated NTP source to be safely combined with unauthenticated NTP
sources in order to improve the accuracy of the clock. They can be
selected and used for synchronization only if they agree with the
trusted and required source.

sources: add trust option

Assume time from a source that is specified with the trust option is
always true.  It can't be rejected as falseticker in the source
selection if sources that are specified without this option don't agree
with it.

sources: turn select options into flags

This will allow adding new options for source selection which can be
combined with others.

sources: fix formatting of selection intervals in comment

It was mangled in commit 6f84d2fac16cb57a1bf3accf4ea211811b0abfab.

refclock: ignore samples with unsynchronised leap status

refclock: describe fields in SOCK sample

fix undefined shift operations on signed integers

conf: update default ratelimit configuration

clientlog: use token buckets for response rate limiting

Replace thresholds that activated rate limiting with token buckets.
Response rate limiting is now not just active or inactive, the interval
and burst options directly control the response rate.

clientlog: refactor updating of record data

doc: update description of -u option and user directive

sys_linux: keep CAP_NET_BIND_SERVICE only if NTP port can be opened

If port is set to 0 in the config file, the server port cannot be opened
and there is no point in keeping the binding capability.

sys: remove unused code

sys_solaris: add support for dropping root privileges

On Solaris, use the privops helper for the ntp_adjtime(),
settimeofday(), and bind() system calls.

sys_solaris: fix building with current timex driver

The SYS_Timex_InitialiseWithFunctions() call in the Solaris driver
wasn't updated in commit d6fdae5f1d133026f48b434dcd24ceb70dc30e63.

sys_netbsd: add support for dropping root privileges on FreeBSD

On FreeBSD, use the privops helper for the adjtime(), ntp_adjtime(),
settimeofday(), and bind() system calls.

sys_timex: add support for ntp_adjtime() via privops

privops: add support for privileged ntp_adjtime()

sys_timex: move inclusion of sys/timex.h to sysincl.h

It will be needed by privops.

privops: ignore signals in helper

If the whole process group receives a signal (e.g. CTRL-C in terminal),
the helper process needs to keep running until it gets the QUIT request,
so the system drivers can still use it in their finalisation, e.g. to
cancel remaining slew.

privops: compile only required helper functions

privops: return from PRV functions with helper response code

In receive_reponse() don't interpret return codes in helper responses as
a non-zero value may not necessarily mean an error. Just copy errno if
it's not zero and let PRV_* functions deal with the return code.

privops: make naming of fields and functions more consistent

util: add function for dropping root privileges

Share the code for dropping supplementary groups and setting effective,
saved, and real user UID/GID between system drivers.

main: initialise privops sooner

System drivers may need it in their initialisation.

sys_macosx: fix adjustment correction after step

The desired offset was being added to the current time instead of being
subtracted.

main: fix compiler warning

sys_netbsd: use privileged helper for socket binding

When dropping root privileges, start the helper to allow binding
of server sockets later.

configure: rework setting of privops macros

Prepare a list of required privileged operations first and from that
define the PRIVOPS macros. This will reduce the amount of code that will
be needed when the privileged helper is used on other platforms.

configure: fix check of date output

privops: refactor initialisation/finalisation

Rename PRV_Initialise() to PRV_StartHelper() and add a new
initialisation function, which just sets the helper fd to -1. Move
the initialision/finalisation calls from the system drivers to main.c.
If privops is not included in the build, define empty macros for the
function names, so their calls don't have to be wrapped in #ifdefs.

privops: wait for helper pid

Save the pid of the helper process and replace wait() with waitpid().

privops: stop helper on exit

With SOCK_DGRAM sockets, the helper doesn't stop as there is no error
received when the socket is closed on the daemon side.

Add a QUIT operation to the protocol which is requested when the daemon
is exiting. It has no response. Register the stopping function with
atexit() to stop the helper even when the daemon is not exiting cleanly,
e.g. due to a fatal error.

privops: split send_to_helper()

Split out the sending part of the function into send_request() and
rename it to submit_request(). This will be useful to send a request
without waiting for a response.

Also, remove the fd parameter from the functions and just use helper_fd
directly.

privops: use SOCK_SEQPACKET sockets when supported

SOCK_SEQPACKET is preferred over SOCK_DGRAM for communication with the
helper as the process will get an error when the other end of the socket
is closed. It's not supported on all platforms.

If SOCK_SEQPACKET is defined, try creating the pair of sockets with this
type first and if that fails, fall back to SOCK_DGRAM.

sys_linux: allow mremap in seccomp filter

sys_macosx: synchronise RTC from system time

When the rtcsync directive is specified in the chronyd config file,
chronyd will update the RTC via settimeofday() every 60 minutes if
the system time is synchronised to NTP.

client: print invalid intervals as dash

Instead of printing some large arbitrary values use dash in the LastRx
column of the sources output and the Last/Int columns in the clients
output when no sample or hit is recorded.

sourcestats: use maximum value as invalid age in source report

clientlog: fix counting of command drops

clientlog: save time of last hit with sub-second resolution

Instead of time_t use a 32-bit fixed point representation with 4-bit
fraction to save the time of the last hit. The rate can now be measured
up to 16 packets per second. Maximum interval between hits is about 4
years.

conf: inline one-line parse_* functions

main: assert supported integer size, representation and conversion

Abort immediately on start if chronyd is compiled on a platform with int
shorter than 32 bits, using other representation than two's complement,
or unexpected conversion of large unsigned integers to signed.

fix undefined shift operations on signed integers

array: always return non-NULL pointer from ARR_GetElements()

Some libc calls like memcpy() expect the pointer to be valid even when
the size is zero and there is nothing to do. Instead of checking the
size before all such calls, modify ARR_GetElements() to return a pointer
to the array instance itself if data was not allocated yet.

contrib: update chronylogrotate.sh script

1. Remove obsolete options when running chronyc
2. Add copyright/licence notice
3. Use logger utility to print/store error messages

cmdmon: update CLIENT_ACCESSES_BY_INDEX command

Add new fields from clientlog to the report and print them in chronyc.
Rework the code to skip empty records in the hash table. The reply no
longer has variable length, all client fields are filled even if some
are empty. Reply with RPY_NULL when the facility is disabled.

clientlog: limit response rate

When the measured NTP or command request rate of a client exceeds
a threshold, reply only to a small fraction of the requests to reduce
the network traffic. Clients are allowed to send a burst of requests.
Try to detect broken clients which increase the request rate when not
getting replies and suppress the rate limiting for them.

Add ratelimit and cmdratelimit directives to configure the thresholds,
bursts and leak rates independently for NTP and command response rate
limiting. Both are disabled by default. Commands from localhost are
never limited.

clientlog: measure request rates

Extend the record with estimates of the current client's NTP and command
request rates. Store them as 8-bit scaled log2 values to save memory.

clientlog: store records in hash table instead of tree

This simplifies the code and allows older records to be reused when no
more memory can be allocated for new addresses. Each slot of the hash
table has 16 records and there is no chaining between different slots.
Reused records may be newer than records in other slots, but the search
time remains constant.

clientlog: reduce amount of logged information

Don't log NTP peer access and auth/bad command access. Also, change
types for logging number of hits from long to uint32_t. This reduces the
size of the node and allows more clients to be monitored in the same
amount of memory.

conf: don't allow disabling clientloglimit

Don't treat zero as a special value disabling clientloglimit. It's not
useful, the amount of available memory is never unlimited.

util: add macros for maximum, minimum and clamp

If MAX/MIN are defined in system headers, undefine them first.

util: add function for IP address hashing

Move the hashing function from find_slot() in ntp_sources to make it
available to clientlog and improve the hashing a bit.

cmdmon: tidy up declarations in read_from_cmd_socket()

sys_macosx: tidy up includes

Use "sysincl.h" in place of the common system include files

sys_macosx: drop root privileges

Run chronyd as a non-privileged user, using the privops helper to
perform adjtime(), settimeofday() and bind() functions on its behalf.

add support for privilege separation

Privileged helper that will perform adjtime(), settimeofday(), bind() on
behalf of chronyd when running as non-root user.