unit-tests: Add test suite for Ed448

Same issue with signature malleability as with Ed25519 and apparently
OpenSSL doesn't even explicitly verify that the most significant 10 bits
are all zero.

unit-tests: Add fingerprint test vectors for Ed25519

curve25519: Prevent Ed25519 signature malleability

As per RFC 8032, section 5.1.7 (and section 8.4) we have to make sure s, which
is the scalar in the second half of the signature value, is smaller than L.
Without that check, L can be added to most signatures at least once to create
another valid signature for the same public key and message.

This could be problematic if, for instance, a blacklist is based on hashes
of certificates.  A new certificate could be created with a different
signature (without knowing the signature key) by simply adding L to s.

Currently, both OpenSSL 1.1.1 and Botan 2.8.0 are vulnerable to this, which is
why the unit test currently only warns about it.

openssl: Use separate DRBG for RNG_STRONG and RNG_TRUE with OpenSSL 1.1.1

OpenSSL 1.1.1 introduces DRGBs and provides two sources (same security
profile etc. but separate internal state), which allows us to use one for
RNG_WEAK (e.g. for nonces that are directly publicly visible) and the other
for stronger random data like keys.

leak-detective: Whitelist functions added in OpenSSL 1.1.1

openssl: Add support for Ed25519/Ed448

dh-speed: Add curve448 keyword

test-vectors: Add vector for X448

openssl: Add support for X25519 and X448

While X25519 was already added with 1.1.0a, its use would be a lot more
complicated, as the helpers like EVP_PKEY_new_raw_public_key() were only
added in 1.1.1, which also added X448.

bypass-lan: Compare interface for unchanged policies

In case a subnet is moved from one interface to another the policies can
remain as is but the route has to change.  This currently doesn't happen
automatically and there is no option to update the policy or route so
removing and reinstalling the policies is the only option.

Fixes #2820.

child-delete: Don't send delete for expired CHILD_SAs that were already rekeyed

The peer might not have seen the CREATE_CHILD_SA response yet, receiving a
DELETE for the SA could then trigger it to abort the rekeying, causing
the deletion of the newly established SA (it can't know whether the
DELETE was sent due to an expire or because the user manually deleted
it).  We just treat this SA as if we received a DELETE for it.  This is
not an ideal situation anyway, as it causes some traffic to get dropped,
so it should usually be avoided by setting appropriate soft and hard limits.

References #2815.

kernel-netlink: Update SA selector if it contains changed IP address(es)

Avoid inclusion of unistd.h in generated lexers

Because the file is not available on all platforms the inclusion comes
after the user options in order to disable including it.  But that means
the inclusion also follows after the defined scanner states, which are
generated as simple #defines to numbers.  If the included unistd.h e.g.
uses variables in function definitions with the same names this could
result in compilation errors.

Interactive mode has to be disabled too as it relies on isatty() from
unistd.h.  Since we don't use the scanners interactively, this is not a
problem and might even make the scanners a bit faster.

Fixes #2806.

Merge branch 'travis-xenial'

Run builds on Travis on Ubuntu Xenial (16.04) images.

travis: Use ccache for MinGW builds

travis: Use manual matrix expansion to improve overall run time

The sonarcloud build runs a long time now (the win32/64 builds are also
a lot slower on xenial), which increases the overall time a build takes
because we can't run these before regular matrix jobs run.  So we do a
manual matrix expansion to control the order of jobs (slower first).
This also removes the TEST=default build with GCC as that's basically
what TEST=dist does (except for forcing the printf implementation)

travis: Simplify explicitly included jobs

The first value for the compiler array (gcc) is inherited.

travis: Start with sonarcloud job first

Also change the condition, the environment variable is apparently still
around when the decision to run it is made.

travis: Use two threads to analyze C code with SonarQube

On Nov 12, the scanner was updated and now takes a lot more time (about
3 times as much).  Using two threads reduces it a bit (by about 25%).
Using even more threads doesn't help or even increases the time again.

Fix make distcheck if systemd is installed

The automatically determined path for systemd units is an absolute system
path that doesn't respect $(prefix).  That's a problem for make distcheck,
which is usually ran as regular user and it's not expected to have any
impact on the system (it does a local install in a subdir).  To avoid
these issues we override the configure flags used by make distcheck and
set the path to one relative to the specified prefix.

Doxyfile: Remove obsolete XML options

gcrypt: Don't use thread callbacks for newer versions of libgcrypt

According to gcrypt.h these callbacks are not used anymore since
version 1.6 and with clang these actually cause deprecation warnings
that let the build on travis (-Werror) fail.

travis: Don't build TSS2 as root

This might prevent ccache from overwriting files in later builds.

travis: Add sleep in after_failure

This makes sure we get the complete output, which isn't always the case
otherwise (there is an unresolved bug for this in the Travis issue tracker).

travis: Build on Ubuntu Xenial (16.04)

Merge branch 'testing-stretch'

Use Debian stretch as base image for the testing environment.

testing: Switch to Debian stretch base images

testing: Install a package via apt-get to get a second SWIMA software event

This installs tmux and its two dependencies libevent-2.0-5 and libutempter0.
For the tnc/tnccs-20-ev-pt-tls test scenario older, apparently replaced
versions of these packages are entered to the collector.db database, so that
dummy SWID tags for these packages can be requested via SWIMA.

testing: Add additional memory to alice

strongTNC seems to require a lot more memory than we assign by default,
not sure this increase is enough.

testing: Generate some UTF-8 locales

testing: Disable systemd's NTP service

This produces a lot of useless traffic as no NTP servers are reachable (or
even resolvable via winnetou).

testing: Allow enabling only timestamps without verbose command output

-t enables only the timestamps, -v additionally logs command output
(includes -t).

testing: Show config files of FreeRADIUS 3.0 in test results

testing: Config changes for FreeRADIUS 3.0

Also includes some changes for jessie's version of FreeRADIUS 2 (was
previously a custom version).

Besides the move to a subdir the config files were adapted for 3.0.

The rlm_sim_files module was removed with FreeRADIUS 3 and Debian's
package of FreeRADIUS 2 does not ship it, so we now replicate it using
the files module (via users file, which is actually a symlink to
mods-config/files/authorize in the default installation of FreeRADIUS 3).
Another approach was tried using rlm_passwd, however, that module does
not read binary/hex data, only printable strings, which would require
changing the triplets.
For 2.x a hack in the site config is necessary to make the attributes
available to the EAP-SIM module.

testing: Use freeradius instead of the removed radiusd to start FreeRADIUS

testing: Remove unused/inexistent DSA key from sshd config

testing: Only run DHCPv4 by setting an listening interface explicitly

Debian stretch's init script for isc-dhcp-server uses the INTERFACESv4|6
variables to decide whether to start the v4 and/or v6 DHCP server.

If they are not empty, the daemon is started for the respective version,
however, if both are empty (the default), to listen on all interfaces, the
daemon is started for both versions.  The latter would require a subnet
config for IPv6 as the daemon otherwise exits, letting the init script fail,
while keeping the successfully started v4 version running, which, in turn,
can't be stopped anymore with the init script because it thinks the daemon
is not running.

So it's not possible with this init script to start DHCPv4 on all interfaces
without having to configure and run DHCPv6 also.

testing: Remove unused dhcpd config on moon

testing: Accept ping6 output with IP address after hostname

Newer versions of ping6 add the IP address after the FQDN in the output.

testing: Install traceroute utility in base image

It seems this was previously installed automatically.

testing: Only attempt to copy patches if there are any

testing: Remove TNC@FHH dependencies and scenarios that rely on them

While we could continue to use FreeRADIUS 2.x that branch is officially EOL.
So instead of investing time and effort in updating/migrating the patches to
FreeRADIUS 3.x (the module changed quite significantly as it relies solely on
the naeap library in that release), for a protocol that is superseded anyway,
we just remove these scenarios and the dependencies.  Actually, the
complete rlm_eap_tnc module will be removed with FreeRADIUS 4.0.

libimcv: Add Debian 9.5 and 9.6 to IMV database

testing: Remove Apache config hacks for Debian wheezy

testing: Support build with Debian stretch base image

Remove support for wheezy.

charon-systemd: Don't use atexit() to deinitialize the daemon

This is because OpenSSL 1.1 started to use atexit()-handlers of its own
to clean up.  Since the plugin is loaded and initialized after libcharon,
OpenSSL's cleanup functions ran before the daemon was properly
deinitialized (i.e. worker threads were still running and OpenSSL might
still be used during the deinit).  So several of OpenSSL's internal
structures were already destroyed when libcharon_deinit() was eventually
called via our own atexit()-handler.

The observed behavior was that the daemon couldn't be terminated properly
anymore for some test scenarios (only three TNC scenarios were affected
actually).  When the daemon tried to send the DELETE for the established
IKE_SA during its termination it got stuck in OpenSSL's RNG_WEAK
implementation (used to allocate random padding), which apparently tries
to acquire an rwlock that was already destroyed.  The main thread then
just busy-waited indefinitely on the lock, i.e. until systemd killed
it eventually after a rather long timeout.

We'll probably have to apply similar changes to other apps/scripts that
load plugins and currently use atexit() to clean up.  Although some
scripts (e.g. dh_speed or hash_burn) are not affected because they
register the deinitialization after loading the plugins.

ikev1: Ensure DPD_ACK is sent in time

If a lot of QUICK_MODE tasks are queued and the other side
sends a DPD request, there is a good chance for timeouts.

Observed this in cases where other side is quite slow in responding
QUICK_MODE requests (e.g. Cisco ASA v8.x) and about 100 CHILD_SAs
are to be spawned.

Closes strongswan/strongswan#115.

pt-tls-client: Fixed man page

conftest: Sanity check for proposal number modifier

botan: Initialize p and q before calling calculate_pq()

Remove useless break statements

Version bump to 5.7.2dr3

testing: Added botan/net2net-pkcs12 scenario

testing: Migrated openssl-ikev2/net2net-pkcs12 scenario to swanctl

testing: Removed openssl-ikev2/rw-eap-tls-only scenario

testing: Removed openssl-ikev2/net2net-pgp-v3 scenario

testing: migrated openssl-ikev2/critical-extension to swanctl

testing: Migrated openssl/rw-cert scenario to swanctl

testing: Migrated openssl-ikev2/ecdsa-pkcs8 scenario to swanctl

testing: Migrated openssl brainpool scenarios to swanctl

testing: Migrated openssl alg-ecp-low scenarios to swanctl

testing: Migrated openssl alg-ecp-high scenarios

testing: Migrated openssl alg-camellia scenarios to swanctl

testing: Removed openssl alg-aes-gcm and alg-blowfish scenarios

testing: Removed openssl suite B scenarios

testing: Moved openssl ecdsa-certs scenarios to swanctl

leak-detective: Use hashtable to cache ignored/whitelisted backtraces

Checking for whitelisted functions in every backtrace is not very
efficient.  And because OpenSSL 1.1 does no proper cleanup anymore until
the process is terminated there are now a lot more "leaks" to ignore.
For instance, in the openssl-ikev2/rw-cert scenario, just starting and
stopping the daemon (test vectors are checked) now causes 3594 whitelisted
leaks compared to the 849 before.  This prolonged the shutdown of the
daemon on each guest in every scenario, amounting to multiple seconds of
additional runtime for every affected scenario.  But even with this
patch there is still some overhead, compared to running the scenarios on
jessie.

leak-detective: Whitelist additional OpenSSL functions used by libcurl

scripts: Include botan in dh_speed.sh and pubkey_speed.sh

Also, using sudo is not necessary in dh_speed.sh.

openssl: Fix some const issues with OpenSSL 1.1.0

openssl: Don't use functions deprecated with OpenSSL 1.1.0

Version bump to 5.7.2dr2

botan: SHA-3 support

Use Botan 2.8.0 for tests

testing: Use AES-GCM for SSH connections

RC4, which was previously used for performance reasons, is not supported
anymore with newer versions of SSH (stretch still supports it, but it
requires explicit configuration on the guests when they act as clients
too - the version in Ubuntu 18.04 apparently doesn't support it anymore
at all).

AES-GCM should actually be faster (at least for larger amounts of data and
in particular with hardware acceleration).

testing: Avoid unnecessary rebuilds of components built from Git repos

Installing apparently changes the timestamp on the repo dir triggering make
to checkout and build the whole thing again.

testing: Disable predictable network interface names assigned by systemd/udev

testing: Remove unused custom OIDs from openssl.cnf files

ClientAuthentication is known in OpenSSL 1.1 and the redefinition, therefore,
causes an error.  These two OIDs are not used anyway in these config
files.

testing: Fixed evaluation in swanctl/rw-cert-pss scenario

Version bump to 5.7.2dr1

testing: Added botan/net2net-ed25519 scenario

NEWS: Add some recent changes

dhcp: Ignore DHCP OFFER messages without assigned address

FreeRADIUS seems to respond that way if it can't allocate an address to
the client.

vici: Properly handle absence of peer ID on mediation connections

Fixes #2794.

task-manager-v2: Reject requests for incomplete IKE_SAs as initiator

Based on a patch by Thomas Egerer.

mysql: Don't release the connection if transactions are still using it

Fixes #2779.

Merge branch 'botan-algos'

This adds wrappers for additional algorithms (Ed25519, ChaCha20/Poly1305,
AES-CCM) to the botan plugin and fixes some potential compile issues.

botan: Fix build without specific asymmetric crypto

botan: Fix build without AES and its modes

botan: Add support for AES-CCM

test-vectors: Add another ChaCha20/Poly1305 test vector from RFC 7539

botan: Add support for ChaCha20/Poly1305 AEAD algorithm

botan: Add support for Ed25519 keys

botan: Add helper function for signature verification

Merge branch 'ssh-eddsa'

This adds support for Ed25519/Ed448 SSH keys and their signatures via
agent plugin.

agent: Support signatures with Ed25519/Ed448 keys

sshkey: Support encoding Ed25519/Ed448 SSH public keys

sshkey: Add support for parsing Ed25519/Ed448 SSH keys

curve25519: Support loading Ed25519 public keys from simple blobs

charon-cmd: Print plugin list before parsing arguments

Helps debugging e.g. failures to load certs/keys.