android: Migrate to the Gradle build system

This uses a manual way to trigger the NDK build (the default with
on-the-fly Android.mk files does not work for us).

android: Provide a fallback for sigwaitinfo()

android: Replace AndroidConfigLocal.h with a header in utils/compat

android: Fix build after updating Linux headers

Since we don't use the kernel-netlink plugin anymore and the headers
in the NDK are reasonably recent, we don't need this anymore (at least
when building the app).

Fixes #1172.

Merge branch 'tkm-spi-label'

Adds the charon-tkm.spi_label and charon-tkm.spi_mask options to encode
a specific value/label in otherwise randomly generated IKE SPIs.

charon-tkm: Register SPI generator callback

Set get_spi callback of IKE SA manager to TKM-specific implementation.

charon-tkm: Implement SPI generator

The get_spi callback returns a random SPI with a label encoded according
to the spi_label and spi_mask parameters read from the strongswan.conf.

settings: Add settings_value_as_uint64() helper function

ike-sa-manager: Allow plugins to provide IKE SPIs via a callback

Plugins must depend on `libcharon-sa-managers` to ensure the manager
exists.

libcharon: Publish IKE_SA/CHILD_SA managers as custom plugin feature

ikev1: Also use message hashes for Quick Mode for the early retransmission check

We already did so during Phase 1 but because all three Quick Mode
message have the same message ID we occasionally dropped the third
message as retransmit, so we do it there too.  For INFORMATIONAL
and TRANSACTION exchanges we don't expect more than one inbound message
with the same message ID so we still use them there.

Fixes #1198.

testing: Check for leases in swanctl/ip-pool scenario

Version bump to 5.3.4dr3

testing: Fixed some more timing issues

kernel-netlink: Allow IPsec policies to replace shunt policies

Shunt policies don't have a reqid set, so we allow unequal reqids in
this particular case (i.e. if one of the reqids is 0).

kernel-pfkey: Make absolutely sure we always delete the right policy cache entry

kernel-netlink: Make absolutely sure we always delete the right policy cache entry

kernel-interface: Pass the same data to del_policy() that was passed to add_policy()

The additional data can be helpful to identify the exact policy to
delete.

kernel-netlink: Remove the unused policy_history flag

This was used with pluto, which had its own policy tracking.

kernel-interface: Return bool for kernel interface registration

If the (un)registering of a kernel interface (net or ipsec) fails, the
plugin loader will never know, since the appropriate functions always
returns TRUE.  By making the (un)register functions return a boolean
value, the loader can detect a failure during initializing the kernel
interface and abort charon startup if desired.

trap-manager: Also clean up remote address in error cases

Fixes #1201.

traffic-selector: Don't end printf'ed list of traffic selectors with a space

swanctl: Add option to query leases with --get-pools

vici: Add option to query leases of pools

We could later perhaps add filter parameters similar to those of the
`ipsec leases` command (pool name/virtual IP).

swanctl: List virtual IPs in --list-sas

vici: Return local and remote virtual IPs when listing SAs

socket-dynamic: Refactor setting source address when sending messages

Basically the same change as the one for the socket-default plugin.

socket-default: Refactor setting source address when sending messages

This ensures we don't pass data (via msg_control) defined in a different
scope to sendmsg().  Actually, some compilers (e.g. GCC 5.2.1) might
optimize the memcpy() call away causing the packets not to get sent from
the intended source address.

It also makes the code clearer than with all these ifdefs.

Fixes #1171.

socket-default: Refactor retrieval of destination address of received packets

This makes the code a bit clearer than with the interleaved ifdefs.

Merge branch 'medsrv-js-css'

Removes the outdated version of MooTools and actually all
JavaScript code as that stuff can now be done with CSS directly.

Fixes #1190.

medsrv: Replace remaining JavaScript code with CSS

medsrv: Replace the JavaScript focus() calls with HTML5's autofocus

conftest: Add configuration option to report milliseconds in file logger

file-logger: Add option to print milliseconds within the current second after timestamp

For this to look right time_format should end with %S or %T.

Closes strongswan/strongswan#18.

ike-natd: Create fake NAT-D payloads in a more static way

In some scenarios an IKE_SA might get restarted multiple times (e.g.
due to retransmits and delayed INVALID_KE_PAYLOAD notifies) so that
two IKE_SA_INIT messages might be sent that only differ in the
previously randomly generated NAT_DETECTION_SOURCE_IP payload.
This could cause an authentication failure on the responder if the two
peers don't use the same IKE_SA_INIT message in their InitiatorSignedOctets.

While the payload is generated in a reproducible way it will still change
when the daemon is restarted, which should make detecting the payloads
as fake a bit harder (compared to e.g. just using 0.0.0.0:0 as address).

Fixes #1131.

testing: Added Debian 7.9 to IMV database

testing: Reduce runtime of all tests that use SQLite databases by storing them in ramfs

testing: tnc/tnccs-20-hcd-eap scenario does not use SWID IMV/strongTNC

testing: Add test config to create and remove a directory for DBs stored in ramfs

testing: Improve runtime of TNC tests by storing the SQLite DB in ramfs

This saves about 50%-70% of the time needed for scenarios that use a DB.

testing: Fix test constraints in ikev2/rw-ntru-bliss scenario

Changed with a88d958933ef ("Explicitly mention SHA2 algorithm in BLISS
OIDs and signature schemes").

testing: Use sha3 plugin in ikev2/rw-cert scenario

mediation: Reschedule initiate mediation job if SA is not yet found

If the job gets queued for a newly created IKE_SA it might not yet be
checked in when the job is running, reschedule the job in that case.

This should fix the two p2pnat test scenarios, which occasionally
failed because one of the peers did not initiate the connection to
the mediation server.

testing: Report the actual strongSwan and kernel versions

testing: Record strongSwan version when building from tarball

testing: Record strongSwan version when building from source tree

testing: Report time required for all scenarios on test overview page

ike-sa-manager: Signal entries that we don't actually check out

In some cases we call wait_for_entry() but don't actually check out the
entry afterwards (e.g. because it doesn't match certain criteria).  So
there won't be a call to checkin() for such entries causing waiting
threads to get signaled.  Instead, such threads would be blocked until
another thread properly checks out/in the entry (or does a blocking
enumeration).

ike-sa-manager: Signal waiting threads after check out/in for uniqueness check

Fixes 758b1caa0e75 ("ikev1: Prevent deadlock when checking for duplicate IKEv1 SAs")

testing: Remove old SWID tags when building from repository

This fixes the TNC-PDP scenarios.

testing: Don't log anything to the console if auth.log or daemon.log do not exist

testing: Simplify fetching of swanctl --list-* output

testing: Don't run redundant crypto tests in sql/rw-cert scenario

They run in all other rw-cert scenarios but in the SQL version there is
no change in the loaded crypto plugins.

testing: Fix CRL URIs in ipv6/net2net-ip4-in-ip6-ikev* scenarios

testing: Speed up OCSP scenarios

Don't make clients wait for the TCP connections to timeout by dropping
packets.  By rejecting them the OCSP requests fail immediately.

testing: Speed up ifdown calls in ikev2/mobike scenarios

ifdown calls bind's rndc, which tries to access TCP port 953 on lo.
If these packets are dropped by the firewall we have to wait for the TCP
connections to time out, which takes quite a while.

testing: Avoid delays with ping by using -W and -i options

With -W we reduce timeouts when we don't expect a response.  With -i the
interval between pings is reduced (mostly in case of auto=route where
the first ping yields no reply).

testing: Remove nearly all sleep calls from pretest and posttest scripts

By consistently using the `expect-connection` helper we can avoid pretty
much all previously needed calls to sleep.

ikev1: Fix calculation of DPD timeout

A DPD timeout job is queued whenever a DPD is sent, i.e. after the
DPD delay already has elapsed, so we have to compensate for that.

testing: Adapt tests to retransmission settings and reduce DPD delay/timeout

ipsec: Quit script quicker for ipsec stop

It rarely takes 1 second or longer to terminate the daemon.  This
decreases the runtime of the post test step a lot where `ipsec stop`
is called for multiple hosts in each test case (10-15 minutes over all
test cases).

testing: Only send two retransmits after 1 second each to fail negative tests earlier

testing: Add a base strongswan.conf file used by all hosts in all scenarios

We will use this to set some defaults (e.g. timeouts to make testing
negative tests quicker).  We don't want these settings to show up in the
configs of the actual scenarios though.

xauth: Call authorize() hook also when xauth-noauth is used

Fixes #1138.

libtnccs: Optionally use RTLD_NOW to load IMC/IMVs with dlopen()

plugin-loader: Optionally use RTLD_NOW with dlopen()

This can be useful when writing custom plugins as typos or missing
linker flags that result in unresolved symbols in the shared object
could otherwise cause late crashes.  In particular, if such a symbol
is used in a code path that is rarely executed.  During development
and testing using RTLD_NOW instead of RTLD_LAZY will prevent the
plugin from getting loaded and makes the error visible immediately.

windows: Define RTLD_NOW, even if it is not used

kernel-pfkey: Enable ENCR_AES_CTR when it's available

Obtained-from: pfSense
Sponsored-by: Rubicon Communications (Netgate)
Closes strongswan/strongswan#17.

vici: Add NAT information when listing IKE_SAs

The `nat-local` and `nat-remote` keys contain information on the NAT
status of the local and remote IKE endpoints, respectively.  If a
responder did not detect a NAT but is configured to fake a NAT situation
this is indicated by `nat-fake` (if an initiator fakes a NAT situation
`nat-local` is set).  If any NAT is detected or faked `nat-any` is set.

Closes strongswan/strongswan#16.

Merge branch 'iv-gen-null-encr'

Fixes NULL encryption in libipsec.

Fixes #1174.

testing: Add libipsec/net2net-null scenario

iv-gen: Use NULL IV generator for NULL encryption

We don't need an IV for NULL encryption, so we wouldn't technically need
an IV generator.  But some of the code currently relies on an IV
generator to be present.  So we don't have to change that code and
handle IV size == 0 specially we use the new NULL IV generator, which
handles this transparently to the existing code.

Before 3c81cb6fc322 ("aead: Create AEAD using traditional transforms
with an explicit IV generator") iv_gen_rand_t was used for NULL
encryption, which would work too but this way it's clearer.

crypto: Add NULL IV generator

This does not actually allocate an IV and only accepts requests
for size == 0.

configure: Load sha1 and random plugins in manager by default

If the openssl plugin is not enabled we need these to generate session
IDs and to authenticate the users.

The md4 plugin is not needed in the manager.

Fixes #1168.

stroke: Make down-nb actually non-blocking

Fixes #1191.

Version bump to 5.3.4dr2

testing: Updated hasher tests

Explicitly mention SHA2 algorithm in BLISS OIDs and signature schemes

Version bump to 5.3.4dr1

Use word-aligned XOR in sha3_absorb()

testing: BLISS CA uses SHA-3 in its CRL

Support BLISS signatures with SHA-3 hash

Implemented SHA-3 hash algorithm including test vectors

Defined SHA-3 hashers

testing: Update tkm to version 0.1.3

Adds XFRM state/policy flush when terminating which caused tests to fail
due to the check added with 9086f060d35a ("testing: Let test scenarios
fail if IPsec SAs or policies are not removed").

libipsec: Properly support CAMELLIA in CTR mode

ikev2: Fix size of key material for CAMELLIA-CTR

Like AES in CTR mode it includes a 4 byte nonce.

libipsec: Fix crypter lookup for AES-CTR

Due to the nonce, the ESP key material is four bytes longer than needed for
the actual AES key.  The crypto plugins, however, register their AES-CTR
implementations with the AES key length, so the lookup here failed.

For IKEv2 the key material is allocated after creating a crypter instance
with the negotiated AES key size.  The length of the actual key material is
retrieved via get_key_size(), which adds the four bytes to the AES key length.

Fixes #1124.

ike-mobike: Send retransmits to the current local and remote addresses

These might have changed by a peer-initiated MOBIKE address update.

Fixes #1125.

Merge branch 'ikev1-cache-informational'

With these changes an INFORMATIONAL message (e.g. with an INITIAL_CONTACT
notify) that arrives while a responder is waiting for the last Aggressive
Mode request gets queued and delivered later.  Previously such messages
caused the IKE_SA to fail as some tasks waiting for the last AM message
fail when trying to handle the INFORMATIONAL message.  Therefore, all
other messages, such as TRANSACTION and QUICK_MODE requests, are now
dropped until AM is complete.  These don't have to be cached as they get
retransmitted by the other peer.

Fixes #1130.

ikev1: Handle queued INFORMATIONAL message after receiving the last AM request

ikev1: Queue INFORMATIONAL request if AM is not complete yet

ikev1: Handle queued TRANSACTION messages only after processing replies

ikev1: Extract queueing of TRANSACTIONAL requests when MM is not complete yet

ikev1: Drop TRANSACTION/QUICK_MODE requests until we received the last AM message

ikev1: Make maximum number of IKEv1 phase 2 exchanges we keep state about configurable

Fixes #1128.

Fix typo in error handling for sigwaitinfo() in charon-systemd and charon-tkm

Fixes 858148092d1e ("Replace usages of sigwait(3) with sigwaitinfo(2)")

random: Properly handle errors when reading from /dev/[u]random

If -1 was returned on the first call to read() `done` got SIZE_MAX
and the function returned TRUE even though no actual random data had
been allocated.

Fixes #1156.

ikev1: Avoid fourth QM message if third QM messages of multiple exchanges are handled delayed

If we haven't received the third QM message for multiple exchanges the
return value of NEED_MORE for passive tasks that are not responsible for
a specific exchange would trigger a fourth empty QM message.

Fixes: 4de361d92c54 ("ikev1: Fix handling of overlapping Quick Mode exchanges")
References #1076.

ikev1: Prevent deadlock when checking for duplicate IKEv1 SAs

Previously, the current segment was held while checking for duplicate
SAs, which requires acquiring all segments.  If multiple threads did this
concurrently this resulted in a deadlock as they couldn't acquire the
segments held by the other threads attempting to do the same.  With the
default configuration only one segment is used, which prevents the problem
as only one thread can check in an IKE SA concurrently.

Fixes: a064eaa8a63a ("Handling of initial contact")