eap-mschapv2: Convert UTF-8-encoded passwords

Instead of assuming passwords are simply ASCII-encoded we now assume they are
provided UTF-8-encoded, which is quite likely nowadays.  The UTF-8 byte
sequences are not validated, however, only valid code points are encoded
as UTF-16LE.

Fixes #3014.

testing: Use latest tkm-rpc and x509-ada versions

Includes fixes for larger signatures, critical extensions and
utf8Strings in DNs.

child-create: Make sure the mode selected by the responder is acceptable

Previously, the initiator would install the SA in transport mode if the
peer sent back the USE_TRANSPORT_MODE notify, even if that was not
requested originally.

message: Enforce encryption except for INFORMATIONALs

The only messages that are generally sent encrypted but could be sent
unencrypted are INFORMATIONALs (currently only used for IKEv1 and ME
connectivity checks).  This should prevent issues if the keymat_t behaves
incorrectly and does not return an aead_t when it actually should.

testing: Create new files in mounted strongSwan sources as regular user

ike-sa-manager: Extract IKE SPI labeling feature from charon-tkm

Might be useful for users of other daemons too. Note that compared to the
previous implementation in charon-tkm, the mask/label are applied in
network order.

Closes strongswan/strongswan#134.

eap-aka-3gpp: Ignore test runner in repository

travis: Check for unignored build artifacts after the build

ike-config: If we don't send a CFG_REQUEST, we don't expect a CFG_REPLY

Previously, attributes in an incorrectly sent CFG_REPLY would still be passed
to attribute handlers.  This does not prevent handlers from receiving
unrequested attributes if they requested at least one other.

ike-config: Ignore unrequested virtual IP addresses

But forward them to handlers in case they requested them.

Merge branch 'xfrmi'

This adds support for XFRM interfaces, which replace VTI devices and are
available with 4.19+ Linux kernels.

IPsec SAs and policies are associated with such interfaces via interface
IDs that can be configured on the CHILD_SA-level (dynamic IDs may
optionally be allocated for each instance and even direction) or on the
IKE_SA-level (again, dynamic IDs may be optionally allocated per IKE_SA).
IDs on an IKE_SA are inherited by all CHILD_SAs created under it, unless
the child configuration overrides them.

The effect the interface ID has on policies is similar to that of marks,
i.e. they won't match packets unless they are routed via interface with
matching interface ID.  So it's possible to negotiate e.g. 0.0.0.0/0 as
traffic selector on both sides and then control the affected traffic via
routes/firewall.

It's possible to use separate interfaces for in- and outbound traffic (or
only use an interface in one direction and regular policies in the other).

Since iproute2 does not yet support XFRM interfaces, a small utility is
provided that allows creating and listing XFRM interfaces.

Interfaces may be created dynamically via updown/vici scripts or
statically (before or after establishing the SAs).  Routes must be added
manually as needed (the daemon will not install any routes for outbound
policies with an interface ID).

When moving XFRM interfaces to other network namespaces they retain access
to the SAs and policies created in the original namespace, which allows
providing IPsec tunnels for processes in other network namespaces without
giving them access to the IPsec keys or IKE credentials.

Fixes #2845.

testing: Add scenario that uses IKE-specific interface IDs

testing: Install python-daemon with strongSwan for use in updown scripts

testing: Add /etc/resolv.conf when building strongSwan

testing: Enable Python eggs in testing environment (i.e. vici's Python bindings)

configure: Fix package version for python packages for developer releases

According to PEP 440 the suffix for development releases is .devN and
not just devN.

vici: Add support for interface ID configurable on IKE_SA

child-sa: Pass default interface ID inherited from IKE_SA

Also pass optional arguments as struct.

ike-sa: Add property for interface ID

ipsec-types: Move allocation of unique interface IDs to helper function

peer-cfg: Add property for interface ID

xfrmi: Use helpers for nested Netlink attributes

kernel-netlink: Add helper functions for nested attributes

testing: Add scenarios that use XFRM interfaces

The network namespace scenario requires a kernel patch in 4.19 and 4.20
kernels (the fix is included in 5.0 kernels).

kernel-netlink: Don't install routes for CHILD_SAs with interface ID

testing: Enable XFRM interfaces and network namespaces in 4.19 and 5.0 kernel

xfrmi: Move to a separate directory to fix monolithic build

kernel-netlink: Add --list option to XFRM interfaces utility

swanctl: Report interface IDs in --list-sas

vici: Report interface IDs

updown: Pass interface ID to updown script

ike: Reuse interface ID during CHILD_SA rekeyings

child-sa: Configure interface ID on SAs and policies

vici: Make interface ID configurable

ipsec-types: Add helper to parse interface ID

kernel-interface: Consider interface ID when allocating reqids

child-cfg: Add property for interface ID

kernel-netlink: Make interface ID configurable on SAs and policies

include: Add XFRM attribute identifier for interface ID

kernel-netlink: Add utility to create XFRM interfaces

This is mainly to see what's necessary to create them (in case we
integrate this into the daemon) and to experiment in our testing
environment without having to add a patched version of iproute2 (the
4.20.0 version in stretch-backports doesn't support XFRM interfaces
yet).  The regular version of iproute2 can be used for other operations
with these interfaces (delete, up, addrs etc.).

kernel-netlink: Calculate length of Netlink messages correctly

This is relevant when adding e.g. strings whose length are not aligned.

Use Botan 2.10.0 for tests

Version bump to 5.8.0dr2

testing: Updated expired certificates

Testing: Removed tnc/tnccs-20-server-retry scenario

Corrected use of PB-TNC CRETRY and SRETRY batches

The PB-TNC finite state machine according to section 3.2 of RFC 5793
was not correctly implemented when sending either a CRETRY or SRETRY
batch. These batches can only be sent in the "Decided" state and a
CRETRY batch can immediately carry all messages usually transported
by a CDATA batch. strongSwan currently is not able to send a SRETRY
batch since full-duplex mode for PT-TLS isn't supported yet.

testing: Disable gcrypt plugin for swanctl

Sometimes swanctl hangs when initializing the plugin and it apparently
gathers entropy.

conf: Use actually configured path for strongswan.conf

References #2984.

generator: Don't print any tainted values in DBG3 messages for U_INT_4

The bits not written to are marked tainted by valgrind, don't print
them in the debug messages.  Also use more specific printf-specifiers
for other values.

trap-manager: Wait for install to finish before uninstalling

There was a race condition between install() and uninstall()
where one thread was in the process of installing a trap
entry, and had destroyed the child_sa, while the other
thread was uninstalling the same trap entry and ended up
trying to destroy the already destroyed child_sa, resulting
in a segmentation fault in the destroy_entry() function.

The uninstall() function needs to wait until all the threads
are done with the installing before proceeding to uninstall
a trap entry.

Closes strongswan/strongswan#131.

sql: Handle %any better when looking up shared secrets

This can be the case for IKEv1 since 419ae9a20a0b ("ikev1: Default remote
identity to %any for PSK lookup if not configured").

Closes strongswan/strongswan#128.

Merge branch 'nm-ipv6'

Adds support for IPv6 to the NetworkManager backend and plugin.

Fixes #1143, #2586.

nm: Remove deprecated variables from autogen.sh

charon-nm: Add IPv6 support

charon-nm: Handle IPv6 DNS server attributes

charon-nm: Set local address to %any so IPv6 may be used as outer address

charon-nm: Request virtual IPv6 address and appropriate TS

nm: Enable IPv6 tab in NM connection dialog

forecast: Only reinject packets that are marked or from the configured interface

This seems to avoid broadcast loops (i.e. processing and reinjecting the
same broadcast packet over and over again) as the packets we send via
AF_PACKET socket are neither marked nor from that interface.

kernel-netlink: Use address labels instead of deprecation for IPv6 virtual IPs

In order to avoid that the kernel uses virtual tunnel IPs for traffic
over physical interfaces we previously deprecated the virtual IP.  While
this is working it is not ideal.  This patch adds address labels for
virtual IPs, which should force the kernel to avoid such addresses to
reach any destination unless there is an explicit route that uses it as
source address.

Merge branch 'android-updates'

Adds a copy function for VPN profiles and an option to set custom DNS
servers.

testing: Prolonged Duck end entity certificate

Version bump to 5.8.0dr1

child-create: Add missing space in DH retry log message

android: New release after adding copy function and DNS server config

Merge branch 'openssl-chapoly'

Adds support for ChaCha20-Poly1305 via OpenSSL.

Fixes #2946.

openssl: Add support for ChaCha20-Poly1305

It's available since OpenSSL 1.1.0.

openssl: Generalize the GCM implementation a bit

This will allow us to use the implementation also for other algorithms.

Merge branch 'ikev1-redundant-updown'

Avoids calling updown script for redundant CHILD_SAs after IKEv1 rekey
collisions.

Fixes #2902.

ikev1: Don't trigger updown event and close action for redundant CHILD_SAs

task-manager-v1: Add utility function to check if CHILD_SA is redundant

vici: Correctly parse inactivity timeout as uint32_t

Using parse_time() directly actually overwrites the next member in the
child_cfg_create_t struct, which is start_action, which can cause
incorrect configs if inactivity is parsed after start_action.

Fixes #2954.

swanctl: Fix documentation of default value of hostaccess

android: Use helper to parse IP addresses where appropriate

android: Add helper to parse IP addresses from strings

Using InetAddress.fromName() is not ideal as it might result in a DNS
resolution, which causes an exception if we do it from the main thread.

android: Make DNS servers configurable in the GUI

android: Import DNS servers

android: Use configured custom DNS servers

android: Add properties for DNS servers

android: Add menu option to copy a profile

Some users requests something like that to use different server IPs.
Interestingly, it's actually also possible to configure multiple
hostnames/IPs, separated by commas, as server address in the profile, which
are then tried one after another.

It's also useful when testing stuff to quickly compare the behavior with
some setting changed between two otherwise identical profiles.

android: Remove buildToolsVersion

Finally a default is configured and we don't have to update this
constantly.

android: Update Gradle plugin

child-sa: Remove temporary DROP policy using same parameters as when added

A temporary DROP policy is added to avoid traffic leak
while the SA is being updated. It is added with
manual_prio set but when the temporary policy is removed
it is removed with manual_prio parameter set to 0.
The call to del_policies_outbound does not match the original
policy and we end up with an ever increasing refcount.

If we try to manually remove the policy, it is not removed
due to the positive refcount. Then new SA requests fail with
"unable to install policy out for reqid 1618,
the same policy for reqid 1528 exists"

Fixes: 35ef1b032d24 ("child-sa: Install drop policies while updating IPsec SAs and policies")
Closes strongswan/strongswan#129.

load-tester: Update expired CA certificate

Closes strongswan/strongswan#126.

travis: OpenSSL version bump

agent: Don't keep socket to ssh/gpg-agent open

Instead, create a socket when necessary.  Apparently, it can prevent
the agent from getting terminated (e.g. during system shutdown) if e.g.
charon-nm is still running with an open connection to the agent.

vici: Fix wrong argument order for terminate_ike() in clear_start_action()

In 7b7290977 ("controller: Add option to force destruction of an IKE_SA")
the 'force' option was added as 3rd parameter to controller_t::terminate_ike.

However in vici's 'clear_start_action', the argument was incorrectly
placed as the 2nd parameter - constantly sending 0 (FALSE) as the
'unique_id' to terminate, rendering calls to 'handle_start_actions'
having undo=TRUE being unable to terminate the relevant conn.

For example, this is log of such a bogus 'unload-conn':

  strongswan[498]: 13[CFG] vici client 96 requests: unload-conn
  strongswan[498]: 13[CFG] closing IKE_SA #9
  strongswan[498]: 13[IKE] unable to terminate IKE_SA: ID 0 not found
  strongswan[498]: 09[CFG] vici client 96 disconnected

here, the unloaded conn's IKE id was 9, alas 'terminate_ike_execute'
reports failure to terminate "ID 0".

Fix by passing 'id, FALSE' arguments in the correct order.

Fixes: 7b7290977 ("controller: Add option to force destruction of an IKE_SA")
Signed-off-by: Shmulik Ladkani <shmulik@metanetworks.com>
Closes strongswan/strongswan#127.

libimcv: Add Debian 9.7 to IMV database

kernel-netlink: Fix compilation on old kernels (< 2.6.39)

libtpmtss: Read RSA public key exponent instead of assuming its value

Up to now it was assumed that the RSA public key exponent is equal to 2^16+1.
Although this is probably true in most if not all cases, it is not correct
according to the TPM 2.0 specification.

This patch fixes that by reading the exponent from the structure returned
by TPM2_ReadPublic.

Closes strongswan/strongswan#121.

unit-tests: Verify that E and emailAddress result in the same ID

Use Botan 2.9.0 for tests

Version bump to 5.7.2

Use https:// for URLs in documents

Also adds contribution guidelines (for Github) with links to the wiki.

Version bump to 5.7.2rc1

NEWS: More news for 5.7.2

Fixed some typos, courtesy of codespell

Merge branch 'radius-accounting-unclaimed'

Adds all IPs to RADIUS Accounting-Stop messages even those not claimed by
a client.  For instance, if the connection fails with FAILED_CP_REQUIRED,
adding the unclaimed addresses allows the RADIUS server to release the
leases early.

Fixes #2856.

eap-radius: Don't clear unclaimed IPs early if accounting is enabled

eap-radius: Add unclaimed IPs to Accounting-Stop messages

Some RADIUS servers may use these to release them early.