unit-tests: Add asserts against job scheduling

ikev2: Use CHILD_REKEYED for replaced CHILD_SAs after rekeying

This allows handling collisions better, in particular with deletions.

unit-tests: Add asserts against task queues of IKE_SAs

child-rekey: Use more appropriate error notifies if CHILD_SA is not found or getting deleted

These are the notifies we should return according to RFC 7296.

child-rekey: Recreate the CHILD_SA if we receive a CHILD_SA_NOT_FOUND notify

child-create: Handle TEMPORARY_FAILURE notify as failure

We will later add code to retry creating the CHILD_SA if we are not
rekeying.  Rekeying is already rescheduled as with any other errors.

unit-tests: Add unit tests for basic CHILD_SA rekeying

unit-tests: Add asserts against ike|child_rekey hooks

unit-tests: Match in and outbound SPIs in SA asserts

Since we use unique sequential SPIs that should be OK.

unit-tests: Register nonce generator and make first nonce byte configurable

crypto-factory: Stop after successfully creating one nonce generator

Fixes: e2fc09c186c3 ("Add nonce generator interface")

unit-tests: Add mock nonce generator

We don't make the full nonces configurable but only the first byte,
which should be enough to force a nonce to be smaller than others.

unit-tests: Make message asserts more flexible

unit-tests: Add another CHILD_SA delete collision

unit-tests: Register mock DH implementation as static plugin feature

unit-tests: Add mock DH implementation that's basically a noop

If the openssl plugin is built DH isn't that much of an overhead as
ecp256 is used, but the default MODP group is now modp3072.

unit-tests: Make IKE SPIs predictable

unit-tests: Call methods on IKE_SAs in their context

unit-tests: Add a unit test for CHILD_SA DELETE collisions

child-delete: Remove unnecessary call to destroy_child_sa()

Generally, we will not find the CHILD_SA by searching for it with the
outbound SPI (the initiator of the DELETE sent its inbound SPI) - and if
we found a CHILD_SA it would most likely be the wrong one (one in which
we used the same inbound SPI as the peer used for the one it deletes).

And we don't actually want to destroy the CHILD_SA at this point as we
know we already initiated a DELETE ourselves, which means that task
still has a reference to it and will destroy the CHILD_SA when it
receives the response from the other peer.

unit-tests: Add asserts against hooks on listener_t and messages captured there

unit-tests: Add asserts against SAs (e.g. their states)

unit-tests: Add separate test runner to test IKEv2 exchanges

This allows proper initialization of the daemon and the helper object.

unit-tests: Add helper class/object to test IKE exchanges

unit-tests: Add mock kernel_ipsec_t implementation for unit tests

Provides predictable sequential SPIs.

unit-tests: Add mock sender_t implementation for unit testing

This allows to retrieve packets sent by an IKE_SA and pass it to another
IKE_SA directly via process_message().

unit-tests: Defining TESTS_RUNNERS allows to only run specific test runners

unit-tests: Don't unload plugins before calling libcharon_deinit()

libcharon_deinit() already calls all the functions we called manually.
Unloading the plugins will not work if charon->initialize() is called
as charon's static plugin features would already be unloaded before the
destroyed members are accessed in destroy() to flush them.

kernel-netlink: Don't set replay window for outbound SAs

It's not necessary and might waste memory.  However, if ESN is used we set
the window to 1 as the kernel rejects the attribute otherwise.

kernel-pfkey: Only set the replay window for inbound SAs

It is not necessary for outbound SAs and might waste memory when large
window sizes are used.

testing: Fix race in tnc/tnccs-20-pdp-pt-tls scenario

aacf84d837e7 ("testing: Add expect-connection calls for all tests and
hosts") removed the expect-connection call for the non-existing aaa
connection.  However, because the credentials were loaded asynchronously
via start-script the clients might have been connecting when the secrets
were not yet loaded.  As `swanctl --load-creds` is a synchronous call
this change avoids that issue without having to add a sleep or failing
expect-connection call.

daemon: Don't hold settings lock while executing start/stop scripts

If a called script interacts with the daemon or one of its plugins
another thread might have to acquire the write lock (e.g. to configure a
fallback or set a value).  Holding the read lock prevents that, potentially
resulting in a deadlock.

testing: Use TLS 1.2 in RADIUS test cases

This took a while as in the OpenSSL package shipped with Debian and on which
our FIPS-enabled package is based, the function SSL_export_keying_material(),
which is used by FreeRADIUS to derive the MSK, did not use the correct digest
to calculate the result when TLS 1.2 was used.  This caused IKE to fail with
"verification of AUTH payload with EAP MSK failed".  The fix was only
backported to jessie recently.

testing: Update FreeRADIUS to 2.2.8

While this is not the latest 2.x release it is the latest in /old.

Upgrading to 3.0 might be possible, not sure if the TNC-FHH patches could
be easily updated, though.  Upgrading to 3.1 will definitely not be possible
directly as that version removes the EAP-TNC module.  So we'd first have to
get rid of the TNC-FHH stuff.

Revert "configure: Cache result of pthread_condattr_setclock() check"

This reverts commit 8d79bfa8318ddd1b9b863241fe0e637be73af5f4 as it does
not provide any advantage over setting ac_cv_func_pthread_condattr_setclock=no.

References #1502.

configure: Cache result of pthread_condattr_setclock() check

Even if not using caching when running the configure script (-C) this
allows pre-defining the result by setting the environment variable
ss_cv_func_pthread_condattr_setclock_monotonic=yes|no|unknown
before/while running the script.

As the check requires running a test program this might be helpful
when cross-compiling to disable using monotonic time if
pthread_condattr_setclock() is defined but not actually usable with
CLOCK_MONOTONIC.

References #1502.

configure: Fix typo in pthread_condattr_setclock() check

quick-mode: Fix reporting lifebytes if lifetime is configured

load-tester: Fix load-tester on platforms where plain `char` is signed

fgetc() returns an int and EOF is usually -1 so when this gets casted to
a char the result depends on whether `char` means `signed char` or
`unsigned char` (the C standard does not specify it).  If it is unsigned
then its value is 0xff so the comparison with EOF will fail as that is an
implicit signed int.

testing: Fix firewall rule on alice in tnc/tnccs-20-pdp-pt-tls scenario

Merge branch 'testing-jessie'

Updates the default Debian image used for the test environment from wheezy
to jessie.  Also adds a script that allows chrooting to an image (base,
root or one of the guests).  In pretty much all test scenarios
expect-connection is used to make test runs more reliable.

Fixes #1382.

testing: Build hostapd from sources

There is a bug (fix at [1]) in hostapd 2.1-2.3 that let it crash when used
with the wired driver.  The package in jessie (and sid) is affected, so we
build it from sources (same, older, version as wpa_supplicant).

[1] http://w1.fi/cgit/hostap/commit/?id=e9b783d58c23a7bb50b2f25bce7157f1f3

testing: Update download URL for wpa_supplicant

testing: Wait for packets to be processed by tcpdump

Sometimes tcpdump fails to process all packets during the short running
time of a scenario:

0 packets captured
18 packets received by filter
0 packets dropped by kernel

So 18 packets were captured by libpcap but tcpdump did not yet process
and print them.

This tries to use --immediate-mode if supported by tcpdump (the one
currently in jessie or wheezy does not, but the one in jessie-backports
does), which disables the buffering in libpcap.

However, even with immediate mode there are cases where it takes a while
longer for all packets to get processed.  And without it we also need a
workaround (even though the version in wheezy actually works fine).
That's why there now is a loop checking for differences in captured vs.
received packets.  There are actually cases where these numbers are not
equal but we still captured all packets we're interested in, so we abort
after 1s of retrying.  But sometimes it could still happen that packets
we expected got lost somewhere ("packets dropped by kernel" is not
always 0 either).

testing: Fix expect-connection for tkm tests

We don't use swanctl there but there is no load statement either.

testing: Add expect-connection calls for all tests and hosts

There are some exceptions (e.g. those that use auto=start or p2pnat).

testing: Update test scenarios for Debian jessie

The main difference is that ping now reports icmp_seq instead of
icmp_req, so we match for icmp_.eq, which works with both releases.

tcpdump now also reports port 4500 as ipsec-nat-t.

libimcv: Add Debian 8.5 to database

testing: Fix posttest.dat for ikev2/rw-dnssec scenario

testing: Make sure tcpdump is actually terminated before analyzing/collecting logs

testing: Correctly dis-/enable services with systemd

testing: Install packages like the FIPS-enabled OpenSSL from a custom apt repo

testing: Update base image to Debian jessie

Several packages got renamed/updated, libgcrypt was apparently installed
by default previously.

Since most libraries changed we have to completely rebuild all the tools
installed in the root image.  We currently don't provide a clean target in
the recipes, and even if we did we'd have to track which base image we
last built for.  It's easier to just use a different build directory for
each base image, at the cost of some additional disk space (if not manually
cleaned).  However, that's also the case when updating kernel or
software versions.

testing: Update 4.x kernel configs to be compatible with Debian 8/systemd

testing: Add root to fstab

This seems to be required for systemd to remount it.

testing: Update Apache config for newer Debian releases

It is still compatible with the current release as the config in
sites-available will be ignored, while conf-enabled does not exist and
is not included in the main config.

testing: Explicitly enable RC4 in SSH server config

Newer OpenSSH versions disable this by default because it's unsafe.
Since this is not relevant for our use case we enable it due to its
speed.

testing: Add script to chroot into an image

If changes are made to the base or root image the images depending on
these have to be rebuilt.

testing: Add a patch to tnc-fhh that avoids building the tncsim package

This sub-package does not build on Debian jessie.

testing: Don't attempt to stop services when building base image

Unlike `apt-get install` in a chroot debootstrap does not seem to start
the services but stopping them might cause problems if they were running
outside the chroot.

leak-detective: Make sure to actually call malloc() from calloc() hook

Newer versions of GCC are too "smart" and replace a call to malloc(X)
followed by a call to memset(0,X) with a call co calloc(), which obviously
results in an infinite loop when it does that in our own calloc()
implementation.  Using `volatile` for the variable storing the total size
prevents the optimization and we actually call malloc().

leak-detective: Whitelist __fprintf_chk as seen on newer systems

configure: Check for and explicitly link against -latomic

Some C libraries, such as uClibc, require an explicit link for some atomic
functions. Check for any libatomic, and explcily link it.

testing: Fix scenarios that check /etc/resolv.conf

android: Catch exception if numbers are too large for Integer

android: Use non-aliased cipher identifiers

Some of these are also understood by BoringSSL.

Fixes #1510.

android: Update Gradle plugin

android: Fix signature of get_nexthop()

resolve: Add refcounting for installed DNS servers

This fixes DNS server installation if make-before-break reauthentication
is used as there the new SA and DNS server is installed before it then
is removed again when the old IKE_SA is torn down.

resolve: Use process abstraction when calling resolvconf

This allows us to capture output written to stderr/stdout.

resolve: Make sure to clean up if calling resolvconf failed

If running resolvconf fails handle() fails release() is not called, which
might leave an interface file on the system (or depending on which script
called by resolvconf actually failed even the installed DNS server).

Merge branch 'interface-for-routes'

Changes how the interface for routes installed with policies is
determined.  In most cases we now use the interface over which we reach the
other peer, not the interface on which the local address (or the source IP) is
installed.  However, that might be the same interface depending on the
configuration (i.e. in practice there will often not be a change).

Routes are not installed anymore for drop policies and for policies with
protocol/port selectors.

Fixes #809, #824, #1347.

kernel-pfroute: Return interface to reach destination from get_nexthop()

kernel-pfkey: Install routes with OUT policies

kernel-netlink: Install routes with OUT policies

This is the direction we actually need routes in and makes the code
easier to read.

kernel-pfkey: Don't install routes for drop policies and if protocol/ports are in the selector

kernel-netlink: Don't install routes for drop policies and if protocol/ports are in the selector

We don't need them for drop policies and they might even mess with other
routes we install.  Routes for policies with protocol/ports in the
selector will always be too broad and might conflict with other routes
we install.

kernel-pfkey: Also use interface returned by get_nexthop() for IPsec policies

An exception is if the local address is virtual, in which case we want
the route to be via TUN device.

kernel-netlink: Also use interface returned by get_nexthop() for IPsec policies

kernel-pfkey: Use interface to next hop for shunt policies

kernel-netlink: Use interface to next hop for shunt policies

Using the source address to determine the interface is not correct for
net-to-net shunts between two interfaces on which the host has IP addresses
for each subnet.

kernel-netlink: Return outbound interface in get_nexthop()

kernel-net: Let get_nexthop() return an optional interface name

The returned name should be the interface over which the destination
address/net is reachable.

kernel-interface: Always set `vip` if get_address_by_ts() returns successfully

kernel-netlink: Let only a single thread work on a specific policy

Other threads are free to add/update/delete other policies.

This tries to prevent race conditions caused by releasing the mutex while
sending messages to the kernel.  For instance, if break-before-make
reauthentication is used and one thread on the responder is delayed in
deleting the policies that another thread is concurrently adding for the
new SA.  This could have resulted in no policies being installed
eventually.

Fixes #1400.

kernel-netlink: Add priority and refcount to policy log

kernel-netlink: Consistently print mark in log messages only if set

kernel-netlink: Provide error information for Netlink sockets

 #1467.

kernel-netlink: Allow definition of a custom priority calculation function

Merge branch 'ipsec-sa-cfg-equals'

Fixes the comparison of ipsec_sa_cfg_t instances in case there is
padding that's not initialized to zero.

Fixes #1503.

kernel-pfkey: Use ipsec_sa_cfg_equals()

kernel-netlink: Use ipsec_sa_cfg_equals() and compare marks properly

ipsec: Add function to compare two ipsec_sa_cfg_t instances

memeq() is currently used to compare these but if there is padding that
is not initialized the same for two instances the comparison fails.
Using this function ensures the objects are compared correctly.

eap-simaka-pseudonym: Properly store mappings

If a pseudonym changed a new entry was added to the table storing
permanent identity objects (that are used as keys in the other table).
However, the old mapping was not removed while replacing the mapping in
the pseudonym table caused the old pseudonym to get destroyed.  This
eventually caused crashes when a new pseudonym had the same hash value as
such a defunct entry and keys had to be compared.

Fixes strongswan/strongswan#46.

child-sa: Use non-static variable to store generated unique mark

If two CHILD_SAs with mark=%unique are created concurrently they could
otherwise end up with either the same mark or different marks in both
directions.

ike: Don't trigger message hook when fragmenting pre-generated messages

This is the case for the IKE_SA_INIT and the initial IKEv1 messages, which
are pre-generated in tasks as at least parts of it are used to generate
the AUTH payload.  The IKE_SA_INIT message will never be fragmented, but
the IKEv1 messages might be, so we can't just call generate_message().

Fixes #1478.

error-notify: Notify listeners upon IKE retransmit

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

task-manager: Add retransmit cleared alert

task-manager: Add retransmit count to retransmit send alert

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

stroke: Permanently store PINs in credential set

This fixes authentication with tokens that require the PIN for every
signature.

Fixes #1369.