ike: Add configuration option to switch to preferring supplied proposals over local ones

child-cfg: Add option to prefer supplied proposals over locally configured ones

ike-cfg: Add option to prefer supplied proposals over locally configured ones

proposal: Remove MODP_NONE from IKE proposals parsed from strings

proposal: Handle MODP_NONE in both directions when selecting proposals

proposal: Parse modpnone as MODP_NONE(0)

ike-rekey: Make sure to ignore task when detecting collisions if ike-init subtask failed

For instance, if INVALID_KE_PAYLOAD is returned we don't want this task
to affect any active rekeying (no new SA has been established so far).

unit-tests: Add test for rekey collision if one CREATE_CHILD_SA response is delayed

unit-tests: Add tests for IKE_SA rekeying if collision is not detected by one peer

ike-rekey: Handle undetected collisions also if delete is delayed

If the peer does not detect the rekey collision and deletes the old
IKE_SA and then receives the colliding rekey request it will respond with
TEMPORARY_FAILURE.  That notify may arrive before the DELETE does, in
which case we may just conclude the rekeying initiated by the peer.

Also, since the IKE_SA is destroyed in any case when we receive a delete
there is no point in storing the delete task in collide() as process_i()
in the ike-rekey task will never be called.

ike-rekey: There is no passive reauth task, so it will never collide with one

ike-rekey: Ignore colliding rekey tasks that did not create an IKE_SA

This simplifies collision handling and we don't need to know about these
tasks when concluding the rekeying we initiated.

ike-rekey: Properly handle situation if the peer did not notice the rekey collision

We conclude the rekeying before deleting the IKE_SA.  Waiting for the
potential TEMPORARY_FAILURE notify is no good because if that response
does not reach us the peer will not retransmit it upon our retransmits
of the rekey request if it already deleted the IKE_SA after receiving
our response to the delete.

ike-delete: Handle deletes while rekeying differently if there was a collision

We treat these as if we concluded the rekeying, the active ike-rekey task
will handle the collision afterwards.

ike-rekey: Add method to check if there was a rekey collision

ikev2: Check for collisions after handling IKE deletion

unit-tests: Add tests for IKE/CHILD delete collisions

child-delete: Reply as usual when concurrently rekeying the IKE_SA

As per RFC 7296, 2.25.2 (what we did before was the behavior described
in RFC 4718).

unit-tests: Add tests for IKE/CHILD rekey collisions

child-create: Respond with TEMPORARY_FAILURE while rekeying/deleting IKE_SA

ike-rekey: Respond with TEMPORARY_FAILURE if CHILD_SAs are currently rekeyed/deleted/established

unit-tests: Add tests for collisions between IKE_SA rekeying and deletion

ike-rekey: Handle TEMPORARY_FAILURE notify

ike-rekey: Respond with TEMPORARY_FAILURE if we are deleting the SA

unit-tests: Add tests for IKE SA deletion

ike-delete: No need to wait for a response in case of concurrent deletes

RFC 7296 explicitly says we SHOULD reply as usual and forget about our
own close request.

unit-tests: Only deliver messages to the SA they are addressed to

unit-tests: Add test for simple IKE rekey collision

ikev2: Add a new state to track rekeyed IKE_SAs

This makes handling such IKE_SAs more specifically compared to keeping them
in state IKE_CONNECTING or IKE_ESTABLISHED (which we did when we lost a
collision - even triggering the ike_updown event), or using IKE_REKEYING for
them, which would also be ambiguous.

For instance, we can now reject anything but DELETES for such SAs.

ike-rekey: Add the name/ID of the redundant IKE_SAs to the log messages

unit-tests: Add tests for IKE_SA rekeying

unit-tests: Add asserts against IKE_SAs

unit-tests: Make sure to flush the IKE_SA manager before destroying the sender

As the static plugin that creates and destroys the default sender was
not initialized because of the missing socket the daemon won't destroy
our sender.  Test cases will eventually have to flush the IKE_SA manager to
satisfy the leak detective.  However, in case of a test failure and if there
are IKE_SAs in the manager the daemon will flush the SAs when deinitializing,
which will cause deletes to get sent.  This crashes if the sender is already
destroyed.

unit-tests: Return status from process_message()

unit-tests: Use wrapper for add_listener in bus_t related asserts

unit-tests: Provide a wrapper around bus_t::add_listener and unregister them during cleanup

In case listeners on the stack are triggered while cleaning up after a
test failed (e.g. via ike_sa_manager_t::flush) remaining listeners defined on
the stack would cause a segmentation fault.

ike-sa-manager: Make sure rng is defined before destroying it in flush()

This allows calling flush() multiple times.

ike-rekey: Establish new IKE_SA earlier as responder, but only if no collision

Moving to the new SA only after receiving the DELETE for the old SA was
not ideal as it rendered the new SA unusable (because it simply didn't
exist in the manager) if the DELETE was delayed/got dropped.

unit-tests: Add tests where a peer is not aware of a CHILD_SA rekey collision

child-delete: Check if the deleted CHILD_SA is the redundant SA of a collision

This happens if the peer deletes the redundant SA before we are able to
handle the response. The deleted SA will be in state CHILD_INSTALLED but
we don't want to trigger the child_updown() event for it or recreate it.

child-rekey: Add method to check for the redundant SA created in a collision

unit-tests: Test for rekeying if INVALID_KE_PAYLOAD notifies are received

child-rekey: Don't change state to INSTALLED if it was already REKEYING

This happens if there is a rekey collision and the peers disagree on the
DH group.

unit-tests: Make IKE and ESP proposals configurable

unit-tests: Add tests for CHILD_SA rekeying/deletion collisions

unit-tests: Add asserts against job scheduling

ikev2: Use CHILD_REKEYED for replaced CHILD_SAs after rekeying

This allows handling collisions better, in particular with deletions.

unit-tests: Add asserts against task queues of IKE_SAs

child-rekey: Use more appropriate error notifies if CHILD_SA is not found or getting deleted

These are the notifies we should return according to RFC 7296.

child-rekey: Recreate the CHILD_SA if we receive a CHILD_SA_NOT_FOUND notify

child-create: Handle TEMPORARY_FAILURE notify as failure

We will later add code to retry creating the CHILD_SA if we are not
rekeying.  Rekeying is already rescheduled as with any other errors.

unit-tests: Add unit tests for basic CHILD_SA rekeying

unit-tests: Add asserts against ike|child_rekey hooks

unit-tests: Match in and outbound SPIs in SA asserts

Since we use unique sequential SPIs that should be OK.

unit-tests: Register nonce generator and make first nonce byte configurable

crypto-factory: Stop after successfully creating one nonce generator

Fixes: e2fc09c186c3 ("Add nonce generator interface")

unit-tests: Add mock nonce generator

We don't make the full nonces configurable but only the first byte,
which should be enough to force a nonce to be smaller than others.

unit-tests: Make message asserts more flexible

unit-tests: Add another CHILD_SA delete collision

unit-tests: Register mock DH implementation as static plugin feature

unit-tests: Add mock DH implementation that's basically a noop

If the openssl plugin is built DH isn't that much of an overhead as
ecp256 is used, but the default MODP group is now modp3072.

unit-tests: Make IKE SPIs predictable

unit-tests: Call methods on IKE_SAs in their context

unit-tests: Add a unit test for CHILD_SA DELETE collisions

child-delete: Remove unnecessary call to destroy_child_sa()

Generally, we will not find the CHILD_SA by searching for it with the
outbound SPI (the initiator of the DELETE sent its inbound SPI) - and if
we found a CHILD_SA it would most likely be the wrong one (one in which
we used the same inbound SPI as the peer used for the one it deletes).

And we don't actually want to destroy the CHILD_SA at this point as we
know we already initiated a DELETE ourselves, which means that task
still has a reference to it and will destroy the CHILD_SA when it
receives the response from the other peer.

unit-tests: Add asserts against hooks on listener_t and messages captured there

unit-tests: Add asserts against SAs (e.g. their states)

unit-tests: Add separate test runner to test IKEv2 exchanges

This allows proper initialization of the daemon and the helper object.

unit-tests: Add helper class/object to test IKE exchanges

unit-tests: Add mock kernel_ipsec_t implementation for unit tests

Provides predictable sequential SPIs.

unit-tests: Add mock sender_t implementation for unit testing

This allows to retrieve packets sent by an IKE_SA and pass it to another
IKE_SA directly via process_message().

unit-tests: Defining TESTS_RUNNERS allows to only run specific test runners

unit-tests: Don't unload plugins before calling libcharon_deinit()

libcharon_deinit() already calls all the functions we called manually.
Unloading the plugins will not work if charon->initialize() is called
as charon's static plugin features would already be unloaded before the
destroyed members are accessed in destroy() to flush them.

kernel-netlink: Don't set replay window for outbound SAs

It's not necessary and might waste memory.  However, if ESN is used we set
the window to 1 as the kernel rejects the attribute otherwise.

kernel-pfkey: Only set the replay window for inbound SAs

It is not necessary for outbound SAs and might waste memory when large
window sizes are used.

testing: Fix race in tnc/tnccs-20-pdp-pt-tls scenario

aacf84d837e7 ("testing: Add expect-connection calls for all tests and
hosts") removed the expect-connection call for the non-existing aaa
connection.  However, because the credentials were loaded asynchronously
via start-script the clients might have been connecting when the secrets
were not yet loaded.  As `swanctl --load-creds` is a synchronous call
this change avoids that issue without having to add a sleep or failing
expect-connection call.

daemon: Don't hold settings lock while executing start/stop scripts

If a called script interacts with the daemon or one of its plugins
another thread might have to acquire the write lock (e.g. to configure a
fallback or set a value).  Holding the read lock prevents that, potentially
resulting in a deadlock.

testing: Use TLS 1.2 in RADIUS test cases

This took a while as in the OpenSSL package shipped with Debian and on which
our FIPS-enabled package is based, the function SSL_export_keying_material(),
which is used by FreeRADIUS to derive the MSK, did not use the correct digest
to calculate the result when TLS 1.2 was used.  This caused IKE to fail with
"verification of AUTH payload with EAP MSK failed".  The fix was only
backported to jessie recently.

testing: Update FreeRADIUS to 2.2.8

While this is not the latest 2.x release it is the latest in /old.

Upgrading to 3.0 might be possible, not sure if the TNC-FHH patches could
be easily updated, though.  Upgrading to 3.1 will definitely not be possible
directly as that version removes the EAP-TNC module.  So we'd first have to
get rid of the TNC-FHH stuff.

Revert "configure: Cache result of pthread_condattr_setclock() check"

This reverts commit 8d79bfa8318ddd1b9b863241fe0e637be73af5f4 as it does
not provide any advantage over setting ac_cv_func_pthread_condattr_setclock=no.

References #1502.

configure: Cache result of pthread_condattr_setclock() check

Even if not using caching when running the configure script (-C) this
allows pre-defining the result by setting the environment variable
ss_cv_func_pthread_condattr_setclock_monotonic=yes|no|unknown
before/while running the script.

As the check requires running a test program this might be helpful
when cross-compiling to disable using monotonic time if
pthread_condattr_setclock() is defined but not actually usable with
CLOCK_MONOTONIC.

References #1502.

configure: Fix typo in pthread_condattr_setclock() check

quick-mode: Fix reporting lifebytes if lifetime is configured

load-tester: Fix load-tester on platforms where plain `char` is signed

fgetc() returns an int and EOF is usually -1 so when this gets casted to
a char the result depends on whether `char` means `signed char` or
`unsigned char` (the C standard does not specify it).  If it is unsigned
then its value is 0xff so the comparison with EOF will fail as that is an
implicit signed int.

testing: Fix firewall rule on alice in tnc/tnccs-20-pdp-pt-tls scenario

Merge branch 'testing-jessie'

Updates the default Debian image used for the test environment from wheezy
to jessie.  Also adds a script that allows chrooting to an image (base,
root or one of the guests).  In pretty much all test scenarios
expect-connection is used to make test runs more reliable.

Fixes #1382.

testing: Build hostapd from sources

There is a bug (fix at [1]) in hostapd 2.1-2.3 that let it crash when used
with the wired driver.  The package in jessie (and sid) is affected, so we
build it from sources (same, older, version as wpa_supplicant).

[1] http://w1.fi/cgit/hostap/commit/?id=e9b783d58c23a7bb50b2f25bce7157f1f3

testing: Update download URL for wpa_supplicant

testing: Wait for packets to be processed by tcpdump

Sometimes tcpdump fails to process all packets during the short running
time of a scenario:

0 packets captured
18 packets received by filter
0 packets dropped by kernel

So 18 packets were captured by libpcap but tcpdump did not yet process
and print them.

This tries to use --immediate-mode if supported by tcpdump (the one
currently in jessie or wheezy does not, but the one in jessie-backports
does), which disables the buffering in libpcap.

However, even with immediate mode there are cases where it takes a while
longer for all packets to get processed.  And without it we also need a
workaround (even though the version in wheezy actually works fine).
That's why there now is a loop checking for differences in captured vs.
received packets.  There are actually cases where these numbers are not
equal but we still captured all packets we're interested in, so we abort
after 1s of retrying.  But sometimes it could still happen that packets
we expected got lost somewhere ("packets dropped by kernel" is not
always 0 either).

testing: Fix expect-connection for tkm tests

We don't use swanctl there but there is no load statement either.

testing: Add expect-connection calls for all tests and hosts

There are some exceptions (e.g. those that use auto=start or p2pnat).

testing: Update test scenarios for Debian jessie

The main difference is that ping now reports icmp_seq instead of
icmp_req, so we match for icmp_.eq, which works with both releases.

tcpdump now also reports port 4500 as ipsec-nat-t.

libimcv: Add Debian 8.5 to database

testing: Fix posttest.dat for ikev2/rw-dnssec scenario

testing: Make sure tcpdump is actually terminated before analyzing/collecting logs

testing: Correctly dis-/enable services with systemd

testing: Install packages like the FIPS-enabled OpenSSL from a custom apt repo

testing: Update base image to Debian jessie

Several packages got renamed/updated, libgcrypt was apparently installed
by default previously.

Since most libraries changed we have to completely rebuild all the tools
installed in the root image.  We currently don't provide a clean target in
the recipes, and even if we did we'd have to track which base image we
last built for.  It's easier to just use a different build directory for
each base image, at the cost of some additional disk space (if not manually
cleaned).  However, that's also the case when updating kernel or
software versions.

testing: Update 4.x kernel configs to be compatible with Debian 8/systemd

testing: Add root to fstab

This seems to be required for systemd to remount it.