Merge branch 'variadic-enumerators'

This adds several changes to enumerator_t and linked_list_t to improve
portability.  In particular to Apple's ARM64 iOS platform, whose calling
convention for variadic and regular functions are different.  This means
that assigning a non-variadic function to a variadic function pointer,
as we did with our enumerator_t::enumerate() implementations and several
callbacks, will result in crashes as the called function will access the
arguments differently than the caller provided them.

To avoid this issue the enumerator_t interface is now fully variadic.
A new mandatory method is added, venumerate(), that takes a va_list with
the arguments provided while enumerating.  enumerate() is replaced with
a generic implementation that prepares a va_list and calls the
enumerator's venumerate() implementation.  As this allows passing the
arguments of one enumerator to another it avoids the five pointer hack
used by enumerator_create_nested() and enumerator_create_cleaner().
To simplify the implementation of venumerate() a helper macro is provided
that assigns values from a given va_list to local variables.

The signature of the callback passed to enumerator_create_filter() has
also changed significantly.  It's now required to enumerate over the
original enumerator in the callback as this avoids the previous in/out
pointer hack. The arguments to the outer enumerator are provided in a
va_list.

Similar changes to avoid such five pointer hacks affect the signatures
of the callbacks for linked_list_t's invoke_function() and find_first()
methods.  For the latter the return type also changed from status_t to
bool, which is important as SUCCESS is defined as 0, so checks for ==
SUCCESS will now fail.

linked-list: Change return value of find_first() and signature of its callback

This avoids the unportable five pointer hack.

linked-list: Change interface of callback for invoke_function()

This avoids the unportable five pointer hack.

linked-list: invoke_offset() doesn't take any additional arguments anymore

Change interface for enumerator_create_filter() callback

This avoids the unportable 5 pointer hack, but requires enumerating in
the callback.

Migrate all enumerators to venumerate() interface change

enumerator: Add venumerate() method to enumerator_t that takes a va_list

This will allow us to implement e.g. enumerator_cleaner without having to
use that unportable 5 pointer forwarding or having to define a callback for
each instance.

A generic implementation for enumerate() is provided so only venumerate()
has to be implemented, which may be simplified by using the VA_ARGS_VGET()
macro.

utils: Add helper macros to read variadic arguments into local variables

testing: Fix ikev2/two-certs scenario

Since 6a8a44be88b0 the certificate received by the client is verified
first, before checking the cached certificates for any with matching
identities.  So we usually don't have to attempt to verify the signature
with wrong certificates first and can avoid this message.

Merge branch 'sha-256-96'

Adds an option to locally configure 96-bit truncation for HMAC-SHA256
when negotiated using the official algorithm identifier.  This is for
compatibility with peers that incorrectly use this shorter truncation
(like Linux does by default).

Fixes #1353.

vici: Make 96-bit truncation for SHA-256 configurable

stroke: Make 96-bit truncation for SHA-256 configurable

child-cfg: Optionally use 96-bit truncation for HMAC-SHA-256

The correct truncation is 128-bit but some implementations insist on
using 96-bit truncation.  With strongSwan this can be negotiated using
an algorithm identifier from a private range.  But this doesn't work
with third-party implementations.  This adds an option to use 96-bit
truncation even if the official identifier is used.

android-log: Link against liblog

unit-tests: Fix test_chunk_eq() if arguments have side-effects

Merge branch 'avoid-rekey-loss'

This changes the behavior during IKEv2 CHILD_SA rekeyings to avoid
traffic loss.  When responding to a CREATE_CHILD_SA request to rekey a
CHILD_SA the responder already has everything available to install and
use the new CHILD_SA.  However, this could lead to lost traffic as the
initiator won't be able to process inbound packets until it processed the
CREATE_CHILD_SA response and updated the inbound SA.  To avoid this the
responder now only installs the new inbound SA and delays installing the
outbound SA until it receives the DELETE for the replaced CHILD_SA.  The
messages transporting these DELETEs could reach the peer before packets
sent with the deleted outbound SAs reach the respective peer.  To reduce
the chance of traffic loss due to this the inbound SA of the replaced
CHILD_SA is not removed for a configurable amount of seconds after
the DELETE has been processed.

Fixes #1291.

unit-tests: Check installed IPsec SAs in child-rekey tests

unit-tests: Add assert to check for installed IPsec SAs

unit-tests: Migrate cached IPsec SAs to new IKE_SAs during rekeying

unit-tests: Keep track of installed IPsec SAs in mock kernel_ipsec_t implementation

child-delete: Delay the removal of the inbound SA of rekeyed CHILD_SAs

After deleting a rekeyed CHILD_SA we uninstall the outbound SA but don't
destroy the CHILD_SA (and the inbound SA) immediately.  We delay it
a few seconds or until the SA expires to allow delayed packets to get
processed. The CHILD_SA remains in state CHILD_DELETING until it finally
gets destroyed.

delete-child-sa-job: Add new constructor that takes the unique ID of a CHILD_SA

This makes sure we delete the right SA in case the addresses got updated
in the mean time.

child-sa: Remove state to track installation of half the SA again

unit-tests: Overload helper macro to check for outbound SA state

child-sa: Expose state of the outbound SA

child-sa: Add method to remove the outbound SA and policies

child-sa: Keep track whether the outbound SA has been installed or not

child-delete: Track flags per individual CHILD_SA

ikev2: Delay installation of outbound SAs during rekeying on the responder

The responder has all the information needed to install both SAs before
the initiator does.  So if the responder immediately installs the outbound
SA it might send packets using the new SA which the initiator is not yet
able to process.  This can be avoided by delaying the installation of the
outbound SA until the replaced SA is deleted.

child-sa: Add log message for CHILD_SA state changes

child-sa: Add method to associate rekeyed CHILD_SAs with their replacement

child-sa: Add methods that allow partial installation of CHILD_SA

Using install() for the inbound SA and register_outbound() for the
outbound SA followed by install_policies(), will delay the installation of
the outbound SA as well as the installation of the outbound policies
in the kernel until install_outbound() is called later.

child-sa: Add new state to track installation of only the inbound SA

child-sa: Change API used to set/install policies

This way we only have to pass the traffic selectors once.

child-sa: Split in- and outbound policy de-/installation

Only install outbound fallback policies.

child-create: Trigger NARROW_RESPONDER_POST hook before installing SAs

This makes sure we use the same set of traffic selectors when installing
the SAs and installing the policies.

Merge branch 'fuzzing'

Adds support for fuzzing the certificate parser provided by the default
plugins (x509, pem, gmp etc.) on Google's OSS-Fuzz infrastructure (or
generally with libFuzzer). Fixes several issues that were found while
fuzzing these plugins.

When building the libraries monolithically and statically the
plugin constructors are now hard-coded in each library so the plugin
code is not removed by the linker because it thinks none of their symbols
are ever referenced.

tnc-ifmap: Null-terminate buffer to make sscanf()-calls safe

libimcv: Make sure the first argument to sscanf() is null-terminated

asn1: Make sure the first argument to sscanf() is null-terminated

x509: Fix leak when parsing CDPs if an invalid one follows valid ones

pem: Ensure a value before checking Proc-Type in PEM header

chunk: Correctly parse Base64 text where four = follow in a row

That's not correct Base64 but invalid data could trigger this. Since
outlen would get reduced four times, but is only ever increased three
times per iteration, this could result in an integer underflow and then
a potential buffer overflow.

configure: Don't modify CFLAGs if fuzzing is enabled

Just rely on the flags passed by the build process.

plugin-loader: Disable some logging output when building fuzz targets

This avoids evaluating %N. An alternative would be to define a printf-hook
for plugin features.

x509: Manually print CRL/OCSP URIs when fuzzing

This avoids a warning about the custom %Y printf specifier.

processor: Move priority threads assignment to set_threads()

This avoids the evaluation of %N even if the thread pool is never used.
We need to avoid as many custom printf specifiers as possible when
fuzzing our code to avoid excessive log messages.

fuzz: Change how fuzz_certs is built

We mainly do this because we have to create a self-contained executable
and it isn't so easy to actually get libtool to link e.g. libgmp
statically.

Add plugin constructor registration for all libraries that provide plugins

Unfortunately, we can't just add the generated C file to the sources in
Makefile.am as the linker would remove that object file when it notices
that no symbol in it is ever referenced.  So we include it in the file
that contains the library initialization, which will definitely be
referenced by the executable.

This allows building an almost stand-alone static version of e.g. charon
when building with `--enable-monolithic --enable-static --disable-shared`
(without `--disable-shared` libtool will only build a version that links
the libraries dynamically).  External libraries (e.g. gmp or openssl) are
not linked statically this way, though.

plugin-constructors: Add script to generate constructor registration

Using a Python script so this works in cross-compilation situations.

plugin-loader: Add facility to register plugin constructors

Enabled when building monolithically and statically.

This should allow us to work around the -whole-archive issue with
libtool.  If the libraries register the plugin constructors they provide
they reference the constructors and will therefore prevent the linker from
removing these seemingly unused symbols from the final executable.

For use cases where dlsym() can be used, e.g. because the static libraries
are manually linked with -whole-archive (Linux) or -force-load (Apple),
this can be disabled by passing ss_cv_static_plugin_constructors=no to
the configure script.

configure: Don't build static libraries by default

This way we can actually detect if someone wants to build strongSwan
statically because --enable-static has to be passed explicitly.

library: Add compile option to disable memwipe() check

fuzz: Make path to libFuzzer.a configurable

pem: Don't read beyond line ends

x509: Fix leak if there is an empty CDP

x509: Fix leak if a certificate contains multiple authorityKeyIdentifiers

fuzz: Add fuzzing boilerplate

testing: Avoid expiration of allocated SPIs due to low retransmission settings

kernel-netlink: Use total retransmit timeout as acquire timeout

By using the total retransmit timeout, modifications of timeout settings
automatically reflect on the value of xfrm_acq_expires.  If set, the
value of xfrm_acq_expires configured by the user takes precedence over
the calculated value.

task-manager: Add helper function to calculate the total retransmit timeout

ike: Use optional jitter to calculate retransmission timeouts

Also adds an optional limit to avoid very high retransmission timeouts
with high numbers of retries.

kernel-netlink: Try to add new inbound SA if update fails

When establishing a traffic-triggered CHILD_SA involves the setup of an
IKE_SA more than one exchange is required. As a result the temporary
acquire state may have expired -- even if the acquire expiration
(xfrm_acq_expires) time is set properly (165 by default).  The expire
message sent by the kernel is not processed in charon since no trap can
be found by the trap manager.
A possible solution could be to track allocated SPIs.  But since this is
a corner case and the tracking introduces quite a bit of overhead, it
seems much more sensible to add a new state if the update of a state
fails with NOT_FOUND.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

kernel-pfkey: Update SA addresses if supported by the kernel

Upcoming FreeBSD kernels will support updating the addresses of existing
SAs with new SADB_X_EXT_NEW_ADDRESS_SRC|DST extensions for the SADB_UPDATE
message.

kernel-pfkey: Use new encap flag on Mac OS X when updating SAs

receiver: Restrict init limit to half-open SAs as responder

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

Merge branch 'hw-offload'

Allows enabling hardware offload for IPsec SAs as introduced by Linux 4.11
for specific hardware.

kernel-netlink: Update hardware offload attribute when SAs are updated

kernel-netlink: Base SA update on correct message in multi-message response

vici: Make hardware offload configurable

child-sa: Optionally enable hardware offload for CHILD_SAs

child-cfg: Add flag to enable hardware offload

child-cfg: Use flags for boolean options

Makes it potentially easier to add new flags.

kernel-netlink: Enable hardware offloading if configured for an SA

kernel-ipsec: Add flag to enable hardware offloading for an IPsec SA

include: Update xfrm.h to include hardware offloading extensions

kernel-netlink: Directly handle Netlink messages if thread pool is empty

During initialization of the plugins the thread pool is not yet
initialized so there is no watcher thread that could handle the queued
Netlink message and the main thread will wait indefinitely for a
response.

Fixes #2199.

socket-default: Add an option to force the sending interface via IP_PKTINFO

On Linux, setting the source address is insufficient to force a packet to be
sent over a certain path. The kernel uses the best route to select the outgoing
interface, even if we set a source address of a lower priority interface. This
is not only true for interfaces attaching to the same subnet, but also for
unrelated interfaces; the kernel (at least on 4.7) sends out the packet on
whatever interface it sees fit, even if that network does not expect packets
from the source address we force to.

When a better interface becomes available, strongSwan sends its MOBIKE address
list update using the old source address. But the kernel sends that packet over
the new best interface. If that network drops packets having the unexpected
source address from the old path, the MOBIKE update fails and the SA finally
times out.

To enforce a specific interface for our packet, we explicitly set the interface
index from the interface where the source address is installed. According to
ip(7), this overrules the specified source address to the primary interface
address. As this could have side effects to installations using multiple
addresses on a single interface, we disable the option by default for now.

This also allows using IPv6 link-local addresses, which won't work if
the outbound interface is not set explicitly.

Add an option to announce support for IKE fragmentation but not sending fragments

swanctl: Use returned key ID to track loaded private keys

There was a direct call to load_key() for unencrypted keys that didn't
remove the key ID from the hashtable, which caused keys to get unloaded
when --load-creds was called multiple times.

vici: Return key ID from load-key command

We already do this for load-token and this should simplify client
implementations.

credential-manager: Prefer local over global sets

Invert set enumeration order to first enumerate local and then global
credential sets.

ikev1: Send NAT-D payloads after HASH payloads in Aggressive Mode requests

Some implementations seem to have problems if the third AM message
contains NAT-D payloads before the HASH payload.

Fixes #2314.

ike-sa-manager: Improve scalability of IKE_SA count checking

Much like in commit a68454b, we now use a global atomic counter to keep
track of the number of IKE_SAs currently registered. This should improve
scalability for a large number of segments even more.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

tun-device: Use next free TUN device on FreeBSD

While this API is documented as legacy (and there is a sysctl option to
disable it) the documentation also mentions that it will probably stay
enabled by default due to compatibility issues with existing applications.

With the previous approach only 255 devices could be opened then the
daemon had to be restarted.

Fixes #2313.

tun-device: TUN devices are not supported on iOS

attr-sql: Make release of online leases during startup optional

This cleanup prevents sharing the same DB between multiple VPN gateways.

charon-nm: Fix typo to actually use random NAT-T port

Fixes: af16b5afb0ee ("Use random ports in NetworkManager backend")

af-alg: Fix crypt() definition conflict

Rename the crypt() method to avoid conflict with POSIX crypt(). Fixes the
following build failure with musl libc:

In file included from ../../../../src/libstrongswan/utils/utils.h:53:0,
                 from ../../../../src/libstrongswan/library.h:101,
                 from af_alg_ops.h:24,
                 from af_alg_ops.c:16:
af_alg_ops.c:110:22: error: conflicting types for 'crypt'
 METHOD(af_alg_ops_t, crypt, bool,
                      ^
../../../../src/libstrongswan/utils/utils/object.h:99:13: note: in definition of macro 'METHOD'
  static ret name(union {iface *_public; this;} \
             ^
In file included from af_alg_ops.c:18:0:
.../host/usr/x86_64-buildroot-linux-musl/sysroot/usr/include/unistd.h:144:7: note: previous declaration of 'crypt' was here
 char *crypt(const char *, const char *);
       ^

Closes strongswan/strongswan#72.

Version bump to 5.3.3dr2

x509: Evaluate return codes of parsing functions

nm: Explicitly prevent the smartcard PIN from being stored

The secret storage flag wasn't being saved when using smartcard
authentication, resulting in the PIN being stored.

Fixes #2166.

nm: IKE/ESP proposal customization support

Closes strongswan/strongswan#70.

charon-nm: IKE/ESP proposal customization support

Closes strongswan/strongswan#69.

Version bump to 5.5.3dr1

configure: Include curve25519 in the pki default plugin list

The plugin provides ed25519 public key support, and is required to generate
keys or sign certificates with pki.

testing: Created swanctl/rw-eap-aka-sql-rsa scenario

testing: Created ikev2/rw-eap-aka-sql-rsa scenario

This test scenario tests the eap-simaka-sql plugin.

eap-simaka-sql: Fixed database column from use to used

pki: Reset variable so error handling works properly

If we jump to `end` without this we crash (not necessarily visibly) due
to a double free and the actual error message is not printed.