trap-manager: Optionally ignore acquires that come in bursts

Acquires that come in bursts can cause the daemon to fail SA negotiation
due to high traffic.  By setting charon.acquire_ignore_burst_time and
charon.acquire_ignore_burst_count we can now control how many acquires
(count) we allow per time interval in milliseconds (time).

ikev1: Send NAT-D payloads after HASH payloads in Aggressive Mode requests

Some implementations seem to have problems if the third AM message
contains NAT-D payloads before the HASH payload.

Fixes #2314.

ike-sa-manager: Improve scalability of IKE_SA count checking

Much like in commit a68454b, we now use a global atomic counter to keep
track of the number of IKE_SAs currently registered. This should improve
scalability for a large number of segments even more.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

tun-device: Use next free TUN device on FreeBSD

While this API is documented as legacy (and there is a sysctl option to
disable it) the documentation also mentions that it will probably stay
enabled by default due to compatibility issues with existing applications.

With the previous approach only 255 devices could be opened then the
daemon had to be restarted.

Fixes #2313.

tun-device: TUN devices are not supported on iOS

attr-sql: Make release of online leases during startup optional

This cleanup prevents sharing the same DB between multiple VPN gateways.

charon-nm: Fix typo to actually use random NAT-T port

Fixes: af16b5afb0ee ("Use random ports in NetworkManager backend")

af-alg: Fix crypt() definition conflict

Rename the crypt() method to avoid conflict with POSIX crypt(). Fixes the
following build failure with musl libc:

In file included from ../../../../src/libstrongswan/utils/utils.h:53:0,
                 from ../../../../src/libstrongswan/library.h:101,
                 from af_alg_ops.h:24,
                 from af_alg_ops.c:16:
af_alg_ops.c:110:22: error: conflicting types for 'crypt'
 METHOD(af_alg_ops_t, crypt, bool,
                      ^
../../../../src/libstrongswan/utils/utils/object.h:99:13: note: in definition of macro 'METHOD'
  static ret name(union {iface *_public; this;} \
             ^
In file included from af_alg_ops.c:18:0:
.../host/usr/x86_64-buildroot-linux-musl/sysroot/usr/include/unistd.h:144:7: note: previous declaration of 'crypt' was here
 char *crypt(const char *, const char *);
       ^

Closes strongswan/strongswan#72.

Version bump to 5.3.3dr2

x509: Evaluate return codes of parsing functions

nm: Explicitly prevent the smartcard PIN from being stored

The secret storage flag wasn't being saved when using smartcard
authentication, resulting in the PIN being stored.

Fixes #2166.

nm: IKE/ESP proposal customization support

Closes strongswan/strongswan#70.

charon-nm: IKE/ESP proposal customization support

Closes strongswan/strongswan#69.

Version bump to 5.5.3dr1

configure: Include curve25519 in the pki default plugin list

The plugin provides ed25519 public key support, and is required to generate
keys or sign certificates with pki.

testing: Created swanctl/rw-eap-aka-sql-rsa scenario

testing: Created ikev2/rw-eap-aka-sql-rsa scenario

This test scenario tests the eap-simaka-sql plugin.

eap-simaka-sql: Fixed database column from use to used

pki: Reset variable so error handling works properly

If we jump to `end` without this we crash (not necessarily visibly) due
to a double free and the actual error message is not printed.

vici: Fix type error exception in Python bindings

Line 66 yields "TypeError: can't concat bytes to str" using Python 3.4.
"requestdata" was introduced in 22f08609f1b6 but is not actually used.
Since the original "request" is not used anywhere else this can be changed
to be similar to the other UTF-8 encoding changes in that commit.

Fixes: 22f08609f1b6 ("vici: Explicitly set the Python encoding type").
Closes strongswan/strongswan#66.

Version bump to 5.5.2

testing: List BLIS certs in swanctl/rw-newhope-bliss scenario

kernel-netlink: Avoid O(n^2) copy operations when concatenating Netlink responses

When constructing the result, all responses from Netlink were concatenated
iteratively, i.e. for each response, the previously acquired result was
copied to newly allocated memory and the current response appended to it.
This results in O(n^2) copy operations. Instead, we now check for the
total final length of the result and copy the individual responses to it
in one pass, i.e. in O(n) copy operations. In particular, this issue caused
very high CPU usage in memcpy() function as the result is copied over and
over. Common way how to hit the issue is when having 1000+ routes and 5+
connecting clients a second. In that case, the memcpy() function can
take 50%+ of one CPU thread on a decent CPU and the whole charon daemon
is stuck just reading routes and concatenating them together (connecting
clients are blocked in that particular case as this is done under mutex).

Closes strongswan/strongswan#65.
References #2055.

libtls: Replace expired certificates for unit tests

Only the tests with client authentication failed, the client accepted
the trusted self-signed certificate even when it was expired.  On the
server the lookup (based on the pre-configured SAN) first found the ECDSA
cert, which it dismissed for the RSA authentication the client used, and
since only the first "pretrusted" cert is considered the following RSA
cert was verified more thoroughly.
The lookup on the client always uses the full DN of the server certificate
not the pre-configured identity so it found the correct certificate on
the first try.

pki: Actually make the default key type KEY_ANY for --self

Fixes: 05ccde0a8bd9 ("pki: Add generic 'priv' key type that loads any
type of private key")

addrblock: Narrow selectors when rekeying a CHILD_SA as original responder

If a the original responder narrows the selectors of its peer in addrblock,
the peer gets a subset of that selectors. However, once the original responder
initiates rekeying of that CHILD_SA, it sends the full selectors to the peer,
and then narrows the received selectors locally for the installation, only.

This is insufficient, as the peer ends up with wider selectors, sending traffic
that the original responder will reject to the stricter IPsec policy. So
additionally narrow the selectors when rekeying CHILD_SAs before sending the
TS list to the peer.

conf: Document recommended lower limit for SPIs

travis: aikpub2 was removed, no need to disable it anymore

conf: Remove snippet for aikpub2

travis: Build Windows-specific plugins

The plugins can only be built on x64 as the MinGW headers on Ubuntu 12.04,
which we have to use for x86 due to another issue with MinGW, are too old.

kernel-wfp: Don't redefine IPPROTO_IP* if already defined

pki: Cast length derived from pointer arithmetic to int

vici: Don't fall back to uninstalling traps if a matching shunt was found

This is different if `ike` and `child` are provided and uninstall()
fails as we call that without knowing whether a matching shunt exists.
But if `ike` is not provided we explicitly search for a matching shunt
and if found don't need to look for a trap policy.

configure: Fix test for libunwind

Most functions in libunwind.h are actually mapped via macros to obscure
function names, so checking for these would require some elaborate test
via AC_LINK_IFELSE().  However, unw_backtrace() seems to be one of the few
actual functions so lets use this for now, even though we don't call it
ourselves later.

Fixes: 016228c15843 ("configure: Check for actual functions in libraries
with AC_CHECK_LIB")

Fixed some typos, courtesy of codespell

swanctl: Reformulate IKEv1 selector restriction, describe problems with TS narrowing

swanctl: Mention including files when referring to strongswan.conf(5)

man: Describe the tunneling of several subnets with IKEv1 in more detail

man: Add note about modeconfig having to match

Version bump to 5.2.2rc1

testing: Updated OCSP certificate for carol

Allow x25519 as an alias of the curve25519 KE algorithm

Reference Edwards-curve signature RFCs

The tpm plugin offers random number generation

The tpm plugin can be used to derive true random numbers from a
TPM 2.0 device. The get_random method must be explicitly enabled
in strongswan.conf with the plugin.tpm.use_rng = yes option.

vici: Document how we pronounce the vici protocol and plugin

swanctl: Describe what happens when a FQDN is specified in local|remote_addrs

man: Describe what happens when a FQDN is specified in left or right

ikev1: First do PSK lookups based on identities then fallback to IPs

This provides a solution for configs where there is e.g. a catch-all %any
PSK, while more specific PSKs would be found by the identities of configs
that e.g. use FQDNs as local/remote addresses.

Fixes #2223.

testing: Fix URL for kernel sources

ike-sa-manager: Remove superfluous assignment

Memory is allocated with calloc, hence set to zero, thus assigning the
numerical value 0 is not required.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

ike: Log remote IP when deleting half-open IKE_SAs

coverage: Exclude test suites and /usr from coverage report

travis: Create coverage report via codecov.io

Version bump to 5.5.2dr7

aikpub2: Removed aikpub2 tool

The aikpub2 tool has been replaced by pki --pub|--req --keyid hex ..
where keyid indicates the TPM 2.0 private key object handle. Thus
either the public key in PKCS#1 format can be extracted or a PKCS#10
certificate request signed by the TPM private key can be generated.

pki: Add key object handle of smartcard or TPM private key as an argument to pki --keyid

utils: chunk_from_hex() skips optional 0x prefix

pki: Edited keyid parameter use in various pki man pages and usage outputs

quick-mode: Correctly prepare NAT-OA payloads as responder

The initiator's address was sent back twice previously.

Fixes #2268.

Version bump to 5.5.2dr6

Add keyid of smartcard or TPM private key as an argument to pki --req

testing: load-testconfig script loads config from source dir

It now does replace the IPs too. This way it's easier to play around
with a config (otherwise a do-tests run was required to build the
config files in the build dir).

libipsec: Enforce a minimum of 256 for SPIs

RFC 4303 reserves the SPIs between 1 and 255 for future use.  This also
avoids an overflow and a division by zero if spi_min is 0 and spi_max is
0xffffffff.

libipsec: Fix min/max SPI

controller: Don't listen for CHILD_SA state changes when terminating IKE_SAs

We actually want to wait until the IKE_SA is destroyed, not any of the
CHILD_SAs (even though there might not be that much of a difference
depending on the number of CHILD_SAs).

Fixes #2261.

kernel: Make range of SPIs for IPsec SAs configurable

settings: Add support for hex integers (0x prefix) via get_int()

libipsec: Log a packet's ports and protocol in case of a policy mismatch

host: Don't log port if it is zero

libipsec: Match IPsec policies against ports of processed packets

Fixes #2252.

NEWS: Mention the new addrblock features

addrblock: Use dynamic TS narrowing instead of rejecting the whole CHILD_SA

Previously, the client had to propose no wider selectors than the certificate
permits, otherwise the complete CHILD_SA was rejected. However, with IKEv2
we can dynamically narrow the selectors to what the certificate allows. This
makes client and gateway configurations very simple by just proposing 0.0.0.0/0,
narrowed to selectors the client is permitted to route into the network.

addrblock: Support an optional non-strict mode accepting certs without addrblock

This allows a gateway to enforce the addrblock policy on certificates that
actually have the extension only. For (legacy) certificates not having the
extension, traffic selectors are validated/narrowed by other means, most
likely by the configuration.

child-cfg: Always apply hosts to traffic selectors if proposing transport mode

Usually, %dynamic is used as traffic selector for transport mode SAs,
however, if wildcard traps are used then the remote TS will be a subnet.
With strongSwan at the remote end that usually works fine as the local
%dynamic TS narrows the proposed TS appropriately.  But some
implementations reject non-host TS for transport mode SAs.
Another problem could be if several distinct subnets are configured for a
wildcard trap, as we'd then propose unrelated subnets on that transport
mode SA, which might be problematic even for strongSwan (switch to tunnel
mode and duplicate policies).

Closes strongswan/strongswan#61.

traffic-selector: Allow calling set_address() for any traffic selector

Users may check is_host(), is_dynamic() or includes() before calling this
if restrictions are required (most actually already do).

Merge branch 'pki-addrblock'

Add support to the x509 plugin and pki to generate certificates with the
RFC 3779 addrblock extension.

pki: Add a note about constructing RFC 3779 compliant certificates to manpage

pki: Support an --addrblock option for issued certificates

pki: Support an --addrblock option for self-signed certificates

pki: Add a helper function parse traffic selectors from CIDR subnets or ranges

x509: Do not mark generated addrblock extension as critical

While RFC 3779 says we SHOULD mark it is critical, this has severe side effects
in practice. The addrblock extension is not widely used nor implemented, and
only a few applications can handle this extension. By marking it critical,
none of these applications can make use of such certificates where included
addrblocks do not matter, such as TLS/HTTPS.

If an application wants to make use of addrblocks, that is usually an explicit
decision. Then the very same application obviously can handle addrblocks, and
there is no need for the extension to be critical. In other words, for local
policy checks it is a local matter to handle the extension, hence making it
critical is usually not of much help.

x509: Support encoding the RFC 3779 addrblock extension

builder: Define a builder part for X.509 RFC 3779 address blocks

plugin-loader: Fix hashing of registered plugin features

This strangely never caused any noticeable issues, but was the reason for
build failures in certain test cases (mostly BLISS) due to missing plugin
features when built with specific options on Travis (was not reproducible
locally).

Version bump to 5.5.2dr5

Use of TPM 2.0 private keys for signatures via tpm plugin

Implement signatures with private keys bound to TPM 2.0

android: New release after fixing potential ANR issue

android: Send network change events from a separate thread via JNI

Doing this from the main UI thread (which delivers the broadcast) might
cause an ANR if there is a delay (e.g. while acquiring a mutex in the
native parts). There might also have been a race condition during
termination previously because Unregister() was not synchronized so there
might have been dangling events that got delivered while or after the mutex
in the native parts was destroyed.

ikev1: Respond to DPDs for rekeyed IKE_SAs

Some devices always use the oldest IKE_SA to send DPDs and will delete
all IKE_SAs when there is no response. If uniqueness is not enforced
rekeyed IKE_SAs might not get deleted until they expire so we should
respond to DPDs.

References #2090.

ike-sa: Optionally try to migrate to the best path on routing priority changes

When multihomed, a setup might prefer to dynamically stay on the cheapest
available path by using MOBIKE migrations. If the cheapest path goes away and
comes back, we currently stay on the more expensive path to reduce noise and
prevent potential migration issues. This is usually just fine for links not
generating real cost.

If we have more expensive links in the setup, it can be desirable to always
migrate to the cheapest link available. By setting charon.prefer_best_path,
charon tries to migrate to the path using the highest priority link, allowing
an external application to update routes to indirectly control MOBIKE behavior.
This option has no effect if MOBIKE is unavailable.

ikev2: Ignore roam events without MOBIKE but static local address

Disabling MOBIKE and statically configuring a local address should be
enough indication that the user doesn't want to roam to a different
address.  There might not be any routes that indicate we can use the
current address but it might still work (e.g. if the address is on an
interface that is not referenced in any routes and the address itself
is neither).  This way we avoid switching to another address for routes
that might be available on the system.

We currently don't make much use of COND_STALE anyway when MOBIKE is not
enabled, e.g. to avoid sending DPDs if the connection is seemingly down.
With MOBIKE enabled we don't exactly check that state but we do don't
send DPDs if there is no route/source address available.

ike-cfg: Add helper function to determine if a given IP address was configured

Merge branch 'vici-updates'

Adds several new features for the VICI interface and swanctl.

NEWS: VICI updates

vici: Only log messages if there actually is a listener

vici: Let has_event_listeners() actually check if clients are registered

Fixes: 8d96f90a7983 ("vici: Add function to test if an event should be
generated")

vici: Add support for mediation extension

peer-cfg: Store mediated_by as name and not peer-cfg reference

This way updates to the mediation config are respected and the order in
which configs are configured/loaded does not matter.

The SQL plugin currently maintains the strong relationship between
mediated and mediation connection (we could theoretically change that to a
string too).

vici: Include uniqueness policy in list-conns