ike: Use optional jitter to calculate retransmission timeouts

Also adds an optional limit to avoid very high retransmission timeouts
with high numbers of retries.

kernel-netlink: Try to add new inbound SA if update fails

When establishing a traffic-triggered CHILD_SA involves the setup of an
IKE_SA more than one exchange is required. As a result the temporary
acquire state may have expired -- even if the acquire expiration
(xfrm_acq_expires) time is set properly (165 by default).  The expire
message sent by the kernel is not processed in charon since no trap can
be found by the trap manager.
A possible solution could be to track allocated SPIs.  But since this is
a corner case and the tracking introduces quite a bit of overhead, it
seems much more sensible to add a new state if the update of a state
fails with NOT_FOUND.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

kernel-pfkey: Update SA addresses if supported by the kernel

Upcoming FreeBSD kernels will support updating the addresses of existing
SAs with new SADB_X_EXT_NEW_ADDRESS_SRC|DST extensions for the SADB_UPDATE
message.

kernel-pfkey: Use new encap flag on Mac OS X when updating SAs

receiver: Restrict init limit to half-open SAs as responder

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

Merge branch 'hw-offload'

Allows enabling hardware offload for IPsec SAs as introduced by Linux 4.11
for specific hardware.

kernel-netlink: Update hardware offload attribute when SAs are updated

kernel-netlink: Base SA update on correct message in multi-message response

vici: Make hardware offload configurable

child-sa: Optionally enable hardware offload for CHILD_SAs

child-cfg: Add flag to enable hardware offload

child-cfg: Use flags for boolean options

Makes it potentially easier to add new flags.

kernel-netlink: Enable hardware offloading if configured for an SA

kernel-ipsec: Add flag to enable hardware offloading for an IPsec SA

include: Update xfrm.h to include hardware offloading extensions

kernel-netlink: Directly handle Netlink messages if thread pool is empty

During initialization of the plugins the thread pool is not yet
initialized so there is no watcher thread that could handle the queued
Netlink message and the main thread will wait indefinitely for a
response.

Fixes #2199.

socket-default: Add an option to force the sending interface via IP_PKTINFO

On Linux, setting the source address is insufficient to force a packet to be
sent over a certain path. The kernel uses the best route to select the outgoing
interface, even if we set a source address of a lower priority interface. This
is not only true for interfaces attaching to the same subnet, but also for
unrelated interfaces; the kernel (at least on 4.7) sends out the packet on
whatever interface it sees fit, even if that network does not expect packets
from the source address we force to.

When a better interface becomes available, strongSwan sends its MOBIKE address
list update using the old source address. But the kernel sends that packet over
the new best interface. If that network drops packets having the unexpected
source address from the old path, the MOBIKE update fails and the SA finally
times out.

To enforce a specific interface for our packet, we explicitly set the interface
index from the interface where the source address is installed. According to
ip(7), this overrules the specified source address to the primary interface
address. As this could have side effects to installations using multiple
addresses on a single interface, we disable the option by default for now.

This also allows using IPv6 link-local addresses, which won't work if
the outbound interface is not set explicitly.

Add an option to announce support for IKE fragmentation but not sending fragments

swanctl: Use returned key ID to track loaded private keys

There was a direct call to load_key() for unencrypted keys that didn't
remove the key ID from the hashtable, which caused keys to get unloaded
when --load-creds was called multiple times.

vici: Return key ID from load-key command

We already do this for load-token and this should simplify client
implementations.

credential-manager: Prefer local over global sets

Invert set enumeration order to first enumerate local and then global
credential sets.

ikev1: Send NAT-D payloads after HASH payloads in Aggressive Mode requests

Some implementations seem to have problems if the third AM message
contains NAT-D payloads before the HASH payload.

Fixes #2314.

ike-sa-manager: Improve scalability of IKE_SA count checking

Much like in commit a68454b, we now use a global atomic counter to keep
track of the number of IKE_SAs currently registered. This should improve
scalability for a large number of segments even more.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

tun-device: Use next free TUN device on FreeBSD

While this API is documented as legacy (and there is a sysctl option to
disable it) the documentation also mentions that it will probably stay
enabled by default due to compatibility issues with existing applications.

With the previous approach only 255 devices could be opened then the
daemon had to be restarted.

Fixes #2313.

tun-device: TUN devices are not supported on iOS

attr-sql: Make release of online leases during startup optional

This cleanup prevents sharing the same DB between multiple VPN gateways.

charon-nm: Fix typo to actually use random NAT-T port

Fixes: af16b5afb0ee ("Use random ports in NetworkManager backend")

af-alg: Fix crypt() definition conflict

Rename the crypt() method to avoid conflict with POSIX crypt(). Fixes the
following build failure with musl libc:

In file included from ../../../../src/libstrongswan/utils/utils.h:53:0,
                 from ../../../../src/libstrongswan/library.h:101,
                 from af_alg_ops.h:24,
                 from af_alg_ops.c:16:
af_alg_ops.c:110:22: error: conflicting types for 'crypt'
 METHOD(af_alg_ops_t, crypt, bool,
                      ^
../../../../src/libstrongswan/utils/utils/object.h:99:13: note: in definition of macro 'METHOD'
  static ret name(union {iface *_public; this;} \
             ^
In file included from af_alg_ops.c:18:0:
.../host/usr/x86_64-buildroot-linux-musl/sysroot/usr/include/unistd.h:144:7: note: previous declaration of 'crypt' was here
 char *crypt(const char *, const char *);
       ^

Closes strongswan/strongswan#72.

Version bump to 5.3.3dr2

x509: Evaluate return codes of parsing functions

nm: Explicitly prevent the smartcard PIN from being stored

The secret storage flag wasn't being saved when using smartcard
authentication, resulting in the PIN being stored.

Fixes #2166.

nm: IKE/ESP proposal customization support

Closes strongswan/strongswan#70.

charon-nm: IKE/ESP proposal customization support

Closes strongswan/strongswan#69.

Version bump to 5.5.3dr1

configure: Include curve25519 in the pki default plugin list

The plugin provides ed25519 public key support, and is required to generate
keys or sign certificates with pki.

testing: Created swanctl/rw-eap-aka-sql-rsa scenario

testing: Created ikev2/rw-eap-aka-sql-rsa scenario

This test scenario tests the eap-simaka-sql plugin.

eap-simaka-sql: Fixed database column from use to used

pki: Reset variable so error handling works properly

If we jump to `end` without this we crash (not necessarily visibly) due
to a double free and the actual error message is not printed.

vici: Fix type error exception in Python bindings

Line 66 yields "TypeError: can't concat bytes to str" using Python 3.4.
"requestdata" was introduced in 22f08609f1b6 but is not actually used.
Since the original "request" is not used anywhere else this can be changed
to be similar to the other UTF-8 encoding changes in that commit.

Fixes: 22f08609f1b6 ("vici: Explicitly set the Python encoding type").
Closes strongswan/strongswan#66.

Version bump to 5.5.2

testing: List BLIS certs in swanctl/rw-newhope-bliss scenario

kernel-netlink: Avoid O(n^2) copy operations when concatenating Netlink responses

When constructing the result, all responses from Netlink were concatenated
iteratively, i.e. for each response, the previously acquired result was
copied to newly allocated memory and the current response appended to it.
This results in O(n^2) copy operations. Instead, we now check for the
total final length of the result and copy the individual responses to it
in one pass, i.e. in O(n) copy operations. In particular, this issue caused
very high CPU usage in memcpy() function as the result is copied over and
over. Common way how to hit the issue is when having 1000+ routes and 5+
connecting clients a second. In that case, the memcpy() function can
take 50%+ of one CPU thread on a decent CPU and the whole charon daemon
is stuck just reading routes and concatenating them together (connecting
clients are blocked in that particular case as this is done under mutex).

Closes strongswan/strongswan#65.
References #2055.

libtls: Replace expired certificates for unit tests

Only the tests with client authentication failed, the client accepted
the trusted self-signed certificate even when it was expired.  On the
server the lookup (based on the pre-configured SAN) first found the ECDSA
cert, which it dismissed for the RSA authentication the client used, and
since only the first "pretrusted" cert is considered the following RSA
cert was verified more thoroughly.
The lookup on the client always uses the full DN of the server certificate
not the pre-configured identity so it found the correct certificate on
the first try.

pki: Actually make the default key type KEY_ANY for --self

Fixes: 05ccde0a8bd9 ("pki: Add generic 'priv' key type that loads any
type of private key")

addrblock: Narrow selectors when rekeying a CHILD_SA as original responder

If a the original responder narrows the selectors of its peer in addrblock,
the peer gets a subset of that selectors. However, once the original responder
initiates rekeying of that CHILD_SA, it sends the full selectors to the peer,
and then narrows the received selectors locally for the installation, only.

This is insufficient, as the peer ends up with wider selectors, sending traffic
that the original responder will reject to the stricter IPsec policy. So
additionally narrow the selectors when rekeying CHILD_SAs before sending the
TS list to the peer.

conf: Document recommended lower limit for SPIs

travis: aikpub2 was removed, no need to disable it anymore

conf: Remove snippet for aikpub2

travis: Build Windows-specific plugins

The plugins can only be built on x64 as the MinGW headers on Ubuntu 12.04,
which we have to use for x86 due to another issue with MinGW, are too old.

kernel-wfp: Don't redefine IPPROTO_IP* if already defined

pki: Cast length derived from pointer arithmetic to int

vici: Don't fall back to uninstalling traps if a matching shunt was found

This is different if `ike` and `child` are provided and uninstall()
fails as we call that without knowing whether a matching shunt exists.
But if `ike` is not provided we explicitly search for a matching shunt
and if found don't need to look for a trap policy.

configure: Fix test for libunwind

Most functions in libunwind.h are actually mapped via macros to obscure
function names, so checking for these would require some elaborate test
via AC_LINK_IFELSE().  However, unw_backtrace() seems to be one of the few
actual functions so lets use this for now, even though we don't call it
ourselves later.

Fixes: 016228c15843 ("configure: Check for actual functions in libraries
with AC_CHECK_LIB")

Fixed some typos, courtesy of codespell

swanctl: Reformulate IKEv1 selector restriction, describe problems with TS narrowing

swanctl: Mention including files when referring to strongswan.conf(5)

man: Describe the tunneling of several subnets with IKEv1 in more detail

man: Add note about modeconfig having to match

Version bump to 5.2.2rc1

testing: Updated OCSP certificate for carol

Allow x25519 as an alias of the curve25519 KE algorithm

Reference Edwards-curve signature RFCs

The tpm plugin offers random number generation

The tpm plugin can be used to derive true random numbers from a
TPM 2.0 device. The get_random method must be explicitly enabled
in strongswan.conf with the plugin.tpm.use_rng = yes option.

vici: Document how we pronounce the vici protocol and plugin

swanctl: Describe what happens when a FQDN is specified in local|remote_addrs

man: Describe what happens when a FQDN is specified in left or right

ikev1: First do PSK lookups based on identities then fallback to IPs

This provides a solution for configs where there is e.g. a catch-all %any
PSK, while more specific PSKs would be found by the identities of configs
that e.g. use FQDNs as local/remote addresses.

Fixes #2223.

testing: Fix URL for kernel sources

ike-sa-manager: Remove superfluous assignment

Memory is allocated with calloc, hence set to zero, thus assigning the
numerical value 0 is not required.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

ike: Log remote IP when deleting half-open IKE_SAs

coverage: Exclude test suites and /usr from coverage report

travis: Create coverage report via codecov.io

Version bump to 5.5.2dr7

aikpub2: Removed aikpub2 tool

The aikpub2 tool has been replaced by pki --pub|--req --keyid hex ..
where keyid indicates the TPM 2.0 private key object handle. Thus
either the public key in PKCS#1 format can be extracted or a PKCS#10
certificate request signed by the TPM private key can be generated.

pki: Add key object handle of smartcard or TPM private key as an argument to pki --keyid

utils: chunk_from_hex() skips optional 0x prefix

pki: Edited keyid parameter use in various pki man pages and usage outputs

quick-mode: Correctly prepare NAT-OA payloads as responder

The initiator's address was sent back twice previously.

Fixes #2268.

Version bump to 5.5.2dr6

Add keyid of smartcard or TPM private key as an argument to pki --req

testing: load-testconfig script loads config from source dir

It now does replace the IPs too. This way it's easier to play around
with a config (otherwise a do-tests run was required to build the
config files in the build dir).

libipsec: Enforce a minimum of 256 for SPIs

RFC 4303 reserves the SPIs between 1 and 255 for future use.  This also
avoids an overflow and a division by zero if spi_min is 0 and spi_max is
0xffffffff.

libipsec: Fix min/max SPI

controller: Don't listen for CHILD_SA state changes when terminating IKE_SAs

We actually want to wait until the IKE_SA is destroyed, not any of the
CHILD_SAs (even though there might not be that much of a difference
depending on the number of CHILD_SAs).

Fixes #2261.

kernel: Make range of SPIs for IPsec SAs configurable

settings: Add support for hex integers (0x prefix) via get_int()

libipsec: Log a packet's ports and protocol in case of a policy mismatch

host: Don't log port if it is zero

libipsec: Match IPsec policies against ports of processed packets

Fixes #2252.

NEWS: Mention the new addrblock features

addrblock: Use dynamic TS narrowing instead of rejecting the whole CHILD_SA

Previously, the client had to propose no wider selectors than the certificate
permits, otherwise the complete CHILD_SA was rejected. However, with IKEv2
we can dynamically narrow the selectors to what the certificate allows. This
makes client and gateway configurations very simple by just proposing 0.0.0.0/0,
narrowed to selectors the client is permitted to route into the network.

addrblock: Support an optional non-strict mode accepting certs without addrblock

This allows a gateway to enforce the addrblock policy on certificates that
actually have the extension only. For (legacy) certificates not having the
extension, traffic selectors are validated/narrowed by other means, most
likely by the configuration.

child-cfg: Always apply hosts to traffic selectors if proposing transport mode

Usually, %dynamic is used as traffic selector for transport mode SAs,
however, if wildcard traps are used then the remote TS will be a subnet.
With strongSwan at the remote end that usually works fine as the local
%dynamic TS narrows the proposed TS appropriately.  But some
implementations reject non-host TS for transport mode SAs.
Another problem could be if several distinct subnets are configured for a
wildcard trap, as we'd then propose unrelated subnets on that transport
mode SA, which might be problematic even for strongSwan (switch to tunnel
mode and duplicate policies).

Closes strongswan/strongswan#61.

traffic-selector: Allow calling set_address() for any traffic selector

Users may check is_host(), is_dynamic() or includes() before calling this
if restrictions are required (most actually already do).

Merge branch 'pki-addrblock'

Add support to the x509 plugin and pki to generate certificates with the
RFC 3779 addrblock extension.

pki: Add a note about constructing RFC 3779 compliant certificates to manpage

pki: Support an --addrblock option for issued certificates

pki: Support an --addrblock option for self-signed certificates

pki: Add a helper function parse traffic selectors from CIDR subnets or ranges