plugin-loader: Optionally use RTLD_NOW with dlopen()

This can be useful when writing custom plugins as typos or missing
linker flags that result in unresolved symbols in the shared object
could otherwise cause late crashes.  In particular, if such a symbol
is used in a code path that is rarely executed.  During development
and testing using RTLD_NOW instead of RTLD_LAZY will prevent the
plugin from getting loaded and makes the error visible immediately.

windows: Define RTLD_NOW, even if it is not used

kernel-pfkey: Enable ENCR_AES_CTR when it's available

Obtained-from: pfSense
Sponsored-by: Rubicon Communications (Netgate)
Closes strongswan/strongswan#17.

vici: Add NAT information when listing IKE_SAs

The `nat-local` and `nat-remote` keys contain information on the NAT
status of the local and remote IKE endpoints, respectively.  If a
responder did not detect a NAT but is configured to fake a NAT situation
this is indicated by `nat-fake` (if an initiator fakes a NAT situation
`nat-local` is set).  If any NAT is detected or faked `nat-any` is set.

Closes strongswan/strongswan#16.

Merge branch 'iv-gen-null-encr'

Fixes NULL encryption in libipsec.

Fixes #1174.

testing: Add libipsec/net2net-null scenario

iv-gen: Use NULL IV generator for NULL encryption

We don't need an IV for NULL encryption, so we wouldn't technically need
an IV generator.  But some of the code currently relies on an IV
generator to be present.  So we don't have to change that code and
handle IV size == 0 specially we use the new NULL IV generator, which
handles this transparently to the existing code.

Before 3c81cb6fc322 ("aead: Create AEAD using traditional transforms
with an explicit IV generator") iv_gen_rand_t was used for NULL
encryption, which would work too but this way it's clearer.

crypto: Add NULL IV generator

This does not actually allocate an IV and only accepts requests
for size == 0.

configure: Load sha1 and random plugins in manager by default

If the openssl plugin is not enabled we need these to generate session
IDs and to authenticate the users.

The md4 plugin is not needed in the manager.

Fixes #1168.

stroke: Make down-nb actually non-blocking

Fixes #1191.

Version bump to 5.3.4dr2

testing: Updated hasher tests

Explicitly mention SHA2 algorithm in BLISS OIDs and signature schemes

Version bump to 5.3.4dr1

Use word-aligned XOR in sha3_absorb()

testing: BLISS CA uses SHA-3 in its CRL

Support BLISS signatures with SHA-3 hash

Implemented SHA-3 hash algorithm including test vectors

Defined SHA-3 hashers

testing: Update tkm to version 0.1.3

Adds XFRM state/policy flush when terminating which caused tests to fail
due to the check added with 9086f060d35a ("testing: Let test scenarios
fail if IPsec SAs or policies are not removed").

libipsec: Properly support CAMELLIA in CTR mode

ikev2: Fix size of key material for CAMELLIA-CTR

Like AES in CTR mode it includes a 4 byte nonce.

libipsec: Fix crypter lookup for AES-CTR

Due to the nonce, the ESP key material is four bytes longer than needed for
the actual AES key.  The crypto plugins, however, register their AES-CTR
implementations with the AES key length, so the lookup here failed.

For IKEv2 the key material is allocated after creating a crypter instance
with the negotiated AES key size.  The length of the actual key material is
retrieved via get_key_size(), which adds the four bytes to the AES key length.

Fixes #1124.

ike-mobike: Send retransmits to the current local and remote addresses

These might have changed by a peer-initiated MOBIKE address update.

Fixes #1125.

Merge branch 'ikev1-cache-informational'

With these changes an INFORMATIONAL message (e.g. with an INITIAL_CONTACT
notify) that arrives while a responder is waiting for the last Aggressive
Mode request gets queued and delivered later.  Previously such messages
caused the IKE_SA to fail as some tasks waiting for the last AM message
fail when trying to handle the INFORMATIONAL message.  Therefore, all
other messages, such as TRANSACTION and QUICK_MODE requests, are now
dropped until AM is complete.  These don't have to be cached as they get
retransmitted by the other peer.

Fixes #1130.

ikev1: Handle queued INFORMATIONAL message after receiving the last AM request

ikev1: Queue INFORMATIONAL request if AM is not complete yet

ikev1: Handle queued TRANSACTION messages only after processing replies

ikev1: Extract queueing of TRANSACTIONAL requests when MM is not complete yet

ikev1: Drop TRANSACTION/QUICK_MODE requests until we received the last AM message

ikev1: Make maximum number of IKEv1 phase 2 exchanges we keep state about configurable

Fixes #1128.

Fix typo in error handling for sigwaitinfo() in charon-systemd and charon-tkm

Fixes 858148092d1e ("Replace usages of sigwait(3) with sigwaitinfo(2)")

random: Properly handle errors when reading from /dev/[u]random

If -1 was returned on the first call to read() `done` got SIZE_MAX
and the function returned TRUE even though no actual random data had
been allocated.

Fixes #1156.

ikev1: Avoid fourth QM message if third QM messages of multiple exchanges are handled delayed

If we haven't received the third QM message for multiple exchanges the
return value of NEED_MORE for passive tasks that are not responsible for
a specific exchange would trigger a fourth empty QM message.

Fixes: 4de361d92c54 ("ikev1: Fix handling of overlapping Quick Mode exchanges")
References #1076.

ikev1: Prevent deadlock when checking for duplicate IKEv1 SAs

Previously, the current segment was held while checking for duplicate
SAs, which requires acquiring all segments.  If multiple threads did this
concurrently this resulted in a deadlock as they couldn't acquire the
segments held by the other threads attempting to do the same.  With the
default configuration only one segment is used, which prevents the problem
as only one thread can check in an IKE SA concurrently.

Fixes: a064eaa8a63a ("Handling of initial contact")

Replace usages of sigwait(3) with sigwaitinfo(2)

This is basically the same call, but it has the advantage of being
supported by FreeBSD's valgrind, which sigwait() is not.

References #1106.

testing: Actually send an uncompressed packet in the ipv6/rw-compress-ikev2 scenario

The default of 56 bytes already exceeds the threshold of 90 bytes (8 bytes
ICMP + 40 bytes IPv6 = 104 bytes).  By reducing the size we make sure the
packet is not compressed (40 + 8 + 40 = 88).

This also fixes a strange failure of this scenario due to the recently
added post-test `ip xfrm state` check.  The kernel stores a reference to
the used SAs on the inbound skbuffs and since these are garbage collected
it could take a while until all references to an SA disappear and the SA
is finally destroyed.  But while SAs might not get destroyed immediately
when we delete them, they are actually marked as dead and therefore won't
show up in `ip xfrm state`.  However, that's not the case for the tunnel
SAs the kernel attaches to IPComp SAs, which we don't explicitly delete,
and which aren't modified by the kernel until the IPComp SA is destroyed.
So what happened when the last ping unintentionally got compressed is that
the skbuff had a reference to the IPComp SA and therefore the tunnel SA.
This skbuff often was destroyed after the `ip xfrm state` check ran and
because the tunnel SA would still get reported the test case failed.

updown: Add rules to allow IP6IP6 traffic used for uncompressed small packets

shunt-manager: Resolve %dynamic to %any4/6 before installing policies

left|rightsubnet default to %dynamic, which is basically 0.0.0.0/0 until an
address is assigned to it.  So if only one side was undefined and the other
traffic selector was IPv6 an address family mismatch would occur.

References #595.

shunt-manager: Don't install policies in case of an address family or IP protocol mismatch

References #595.

openssl: Explicitly include openssl/bn.h

If OpenSSL is compiled with OPENSSL_NO_DEPRECATED some of the headers
we include don't include openssl/bn.h anymore.  Therefore, we have to
explicitly include it ourselves where we use BN_* functions.

Fixes #1113.

unit-tests: Add a test to verify that there is no partial matching of RDNs

scepclient: Remove copyright and license from man page

include: Add linux/socket.h

__kernel_sa_family_t is defined and used since Linux 3.1, so on systems
with older kernels (like CentOS 6.7, which still ships a 2.6.32 kernel) the
build with the current UAPI headers fails.  And using the native headers on
such system does not really work either because we use structs, defines, and
enum values from the newer headers in the kernel-netlink plugin.

__kernel_sa_family_t is defined in linux/socket.h so we ship that too (in
particular the simplified UAPI version from Linux 3.7+).

Fixes #1099.

Version bump to 5.3.3

testing: added ikev2/alg-chacha20poly1305 scenario

testing: update to Linux 4.2 kernel

Version bump to 5.3.3rc2

imv-os: Add some useful usage output to the pacman utility

Fixes #487.

kernel-netlink: Properly set port mask for ICMP type/code if only set on one side

If only one traffic selector had a port (type/code) the other side had
the port mask set to 0, which canceled out the applied type/code.

It also fixes the installation of ICMP type/code on big-endian hosts.

Fixes #1091.
References #595.

kernel-pfkey: Properly encode ICMP type/code if only set on one side

References #595.

testing: Updated environment variable documentation in updown scripts

libimcv: Updated Android.mk file

NEWS: Added additional news

eap-radius: Fix creation of host_t objects based on Framed-IPv6-Address attributes

Fixes ec490e68ae37 ("eap-radius: Add support for some basic IPv6-specific RADIUS attributes").
References #1001.

conf: Add documentation for new osx-attr option

pki: Add new type options to --issue command usage output

conf: Fix declaration of default values for imc-hcd options

starter: Remove documentation for starter.load option

eap-ttls: Limit maximum length of tunneled EAP packet to EAP-TTLS packet

trap-manager: Cleanup local address in error cases

imv-os: Properly free strings for invalid input in pacman

ha: Close control FIFO if it is not valid

swanctl: Correctly build man page in out-of-tree builds from the repository

Fixed some typos, courtesy of codespell

Fix some Doxygen issues

unit-tests: Additional test cases to increase coverage

traffic-selector: Use calc_netbits() in RFC 3779 constructor

This properly detects prefixes encoded as ranges.

ike: Fix half-open count for initiating SAs when initially checked in

ike: Only consider number of half-open SAs as responder when deciding whether COOKIEs are sent

Version bump to 5.3.3rc1

Added some spaces in swanctl.conf

vici: Handle closed sockets in the Ruby gem

From recvfrom(2) (which UDPSocket#recv backs into):

  The return value will be 0 when the peer has performed an orderly
  shutdown.

(i.e. it will return an empty string)

Previously in this scenario, Vici::Transport#recv_all would spin
forever trying to pull more data off the socket. I'm not entirely
clear what happened that caused strongSwan to shutdown the socket, but
it probably should not cause vici Ruby apps to spin.

Closes strongswan/strongswan#13.

Merge branch 'starter-kernel-flush'

Removes flushing of the IPsec state in the kernel when starter
terminates.  We can't easily flush only the policies created for
IPsec SAs (and if installpolicies=no is used we don't want to flush
policies anyway).  Also, since existing policies don't cause errors
anymore these aren't really an issue anymore (I think this was one of
the main reasons to flush the state).  This behavior is also specific to
starter, so nothing is flushed when charon is used via systemd/swanctl.
This will also allow us to merge libhydra with libcharon in a future
release.

If the previous behavior is needed it can easily be replicated with some
external tools (we could also write a simple utility that does this).

Additional checks in the test environment make sure that the daemon
cleans up the state properly.

testing: Let test scenarios fail if IPsec SAs or policies are not removed

The IKE daemon should delete all installed SAs and policies when
everything works properly, so we fail the test if that's not the case.

testing: Flush state and policies before every scenario

Similar to conntrack we make sure we are working on a clean slate.

starter: Don't flush SAs in the kernel

If starter is not used we don't do that either. And this allows us to
move the stuff in libhydra back to libcharon.

starter: Don't flush policies in the kernel

We can't control which policies we flush, so if policies are installed
and used outside of strongSwan for other protocols we'd flush them too.
And if installpolicies=no is used we probably shouldn't flush policies
either.  Luckily already existing policies are not treated as fatal
errors anymore, so not flushing policies should not be that much of an
issue (in case of a crash in dynamic setups, e.g. with virtual IPs,
policies could be left behind even after restarting the connections and
properly terminating the daemon).

kernel-pfkey: Only flush SAs of types we actually manage

kernel-netlink: Only flush SAs of types we actually manage

Merge branch 'init-limits'

IKE_SAs that are initiated are now counted towards the half-open IKE_SAs
limit.  Optionally it is possible to enforce limits towards the number of
half-open IKE_SAs and the job load also when initiating SAs.  This is
currently only possible via VICI.

vici: Optionally check limits when initiating connections

If the init-limits parameter is set (disabled by default) init limits
will be checked and might prevent new SAs from getting initiated.

vici: Add get_bool() convenience getter for VICI messages

controller: Optionally adhere to init limits also when initiating IKE_SAs

ike: Also track initiating IKE_SAs as half-open

stroke: Allow %any as local address

Actually, resolving addresses in `left` might be overkill as we'll assume
left=local anyway (the only difference is the log message).

stroke: Add an option to disable side-swapping of configuration options

In some scenarios it might be preferred to ensure left is always local
and no unintended swaps occur.

ikev1: Assign different job priorities for inbound IKEv1 messages

testing: Fix typo in p2pnat/behind-same-nat scenario

child-rekey: Don't add a REKEY_SA notify if the child-create task is deleting the SA

child-create: Cache proposed IPsec protocol

This allows us to DELETE CHILD_SAs on failures that occur before we
retrieved the selected proposal.

child-create: Don't attempt to delete the SA if we don't have all the information

Since we only support single protocols we could probably guess it and always
send a DELETE.

child-rekey: Remove redundant migrate() call for child-create sub-task

When retrying due to a DH group mismatch this is already done by the
child-create task itself.  And in other cases where the task returns
NEED_MORE we actually will need access to a possible proposal to properly
delete it.

child-create: Fix crash when retrying CHILD_SA rekeying due to a DH group mismatch

If the responder declines our KE payload during a CHILD_SA rekeying migrate()
is called to reuse the child-create task.  But the child-rekey task then
calls the same method again.

Fixes: 32df0d81fb46 ("child-create: Destroy nonceg in migrate()")

auth-cfg: Don't enforce EAP_RADIUS

Basically the same as e79b0e07e4ab.  EAP_RADIUS is also a virtual method
that will identify itself as a different EAP method later.

testing: Add missing sim_files file to ikev2/rw-eap-sim-radius scenario

testing: alice is RADIUS server in the ikev2/rw-eap-sim-radius scenario

testing: Print triplets.dat files of clients in EAP-SIM scenarios

References #1078.

Merge branch 'stroke-ca-sections'

This resolves the duplicate CERTREQ issue when certificates in
ipsec.d/cacerts were referenced in ca sections.  It also ensures CA
certificates are reloaded atomically, so there is never a time when
an unchanged CA certificate is not available.

References #842.

stroke: Change how CA certificates are stored

Since 11c14bd2f5 CA certificates referenced in ca sections were
enumerated by two credential sets if they were also stored in
ipsec.d/cacerts.  This caused duplicate certificate requests to
get sent.  All CA certificates, whether loaded automatically or
via a ca section, are now stored in stroke_ca_t.

Certificates referenced in ca sections are now also reloaded
when `ipsec rereadcacerts` is used.