swanctl: Add `token` secrets for keys on tokens/smartcards

vici: Add command to load a private key from a token

PINs are stored in a "hidden" credential set, so that its shared
secrets are not exposed via VICI.  Since they are not explicitly loaded as
shared secrets via VICI a client might consider them as removed secrets and
remove them.

vici: List namespace/peer-cfg name with policies and allow filtering

The two names are also transmitted in separate keys.

swanctl: Pass optional connection name to --initiate/install/uninstall

vici: Explicitly use peer name when uninstalling trap and shunt policies

Also adds an `ike` parameter to the `uninstall` command.

stroke: Use peer name as namespace for shunt policies

The same goes for the start-action-job.  When unrouting, we search for
the first policy with a matching child-cfg.

shunt-manager: Add an optional namespace for each shunt

This will allow us to reuse the names of child configs e.g. when they
are defined in different connections.

vici: Add support for NT Hash secrets

Fixes #1002.

vici: Add support for IPv6 Transport Proxy Mode

vici: Add support for certificate policies

vici: Add missing dscp setting for IKE_SAs

Fixes #2170.

swanctl: Automatically unload removed shared keys

vici: Add possibility to remove shared keys by a unique identifier

This identifier can be set when adding/replacing a secret.  The unique
identifiers of all secrets may be enumerated.

mem-cred: Add methods to add/remove shared keys with unique identifiers

Also added is a method to enumerate the unique identifiers.

swanctl: Automatically unload removed private keys

vici: Add commands to enumerate and remove private keys

They are identified by their SHA-1 key identifier.

mem-cred: Add method to remove a private key with a specific fingerprint

swanctl: Add possibility to query a specific pool by name

vici: Update get_pools() in Python and Ruby bindings

vici: Add option to query a specific pool

bypass-lan: Don't use interfaces in policies

After an interface disappeared we can't remove the policies correctly as
the name doesn't resolve to the previous index anymore.
And making the policies so specific might not provide that much benefit.

To handle the interfaces on the policies correctly would require some
changes to the child-cfg, kernel-interface etc. so they'd take interface
indices directly so we could target the policies correctly even if an
interface disappeared (or reappeared and got a new index).

testing: Fix ALLOWED_HOSTS in strongTNC settings.ini

testing: Fix swanctl/ocsp-disabled scenario after changing the log messages

revocation: More accurately describe the flags to disable OCSP/CRL validation

These options disable validation as such, e.g. even from cached CRLs, not
only the fetching.  Also made the plugin's validate() implementation a
no-op if both options are disabled.

child-sa: Do not install mark on inbound kernel SA

The SA ID (src, dst, proto, spi) is unique on ingress.

As such, explicit inbound marking is not needed to match an SA.

On the other hand, requiring inbound SAs to use marks forces the
installation of a mechanism for marking traffic (e.g. iptables) based
on some criteria.

Defining the criteria becomes complicated, for example when required to
support multiple SAs from the same src, especially when traffic is UDP
encapsulated.

This commit removes the assignment of the child_sa mark_in to the inbound SA.

Policies can be arbitrated by existing means - e.g, via netfilter policy
matching or using VTI interfaces - without the need to classify the flows prior
to state matching.

Since the reqid allocator regards the mark value, there is no risk of matching
the wrong policy.

And as explicit marking was required for route-based VPN to work before this
change, it should not cause regressions in existing setups.

Closes strongswan/strongswan#59.

unit-tests: Allow default test timeout to be configured via compile option

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

tkm: Fix get_auth_octets() signature

Fixes: 267c1f7083d4 ("keymat: Allow keymat to modify signature scheme(s)")

kernel-netlink: Use RTA_SRC to specify route source in kernel-based lookups

For table dumps the kernel accepts RTA_PREFSRC to filter the routes, which is
what we do when doing userspace route calculations. For kernel-based route
lookups, however, the RTA_PREFSRC attribute is ignored and we must specify
RTA_SRC for policy based route lookups.

kernel-netlink: Use kernel-based route lookup if we do not install routes

For gateways with many connections, installing routes is often disabled,
as we can use a static route configuration to achieve proper routing with
a single rule. If this is the case, there is no need to dump all routes and
do userspace route lookups, as there is no need to exclude routes we installed
ourself.

Doing kernel-based route lookups is not only faster with may routes, but also
can use the full power of Linux policy based routing; something we can hardly
rebuild in userspace when calculating routes.

swanctl: List CHILD_SA marks, if set

vici: Include the Netfilter marks in listed CHILD_SAs

vici: Explicitly set the Python encoding type

When using vici over RPyC and its (awesome) splitbrain, encoding and decoding
strings fails in vici, most likely because of the Monkey-Patch magic splitbrain
uses.

When specifying the implicit UTF-8 as encoding scheme explicitly, Python uses
the correct method to encode/decode the string, making vici useable in
splitbrain contexts.

Merge branch 'mid-sync'

Adds support for handling IKEV2_MESSAGE_ID_SYNC notifies as responder
(usually the original initiator) as defined in RFC 6311.  Some HA solutions
use these notifies to set the new IKEv2 message IDs after a failover event.

unit-tests: Add test cases for MID sync exchanges

ikev2: Ignore IKEV2_MESSAGE_ID_SYNC notifies if extension is disabled

If this is the first message by the peer, i.e. we expect MID 0, the
message is not pre-processed in the task manager so we ignore it in the
task.

We also make sure to ignore such messages if the extension is disabled
and the peer already sent us one INFORMATIONAL, e.g. a DPD (we'd otherwise
consider the message with MID 0 as a retransmit).

ikev2: Don't increase expected MID after handling MID sync message

If the responder never sent a message the expected MID is 0.  While
the sent MID (M1) SHOULD be increased beyond the known value, it's
not necessarily the case.
Since M2 - 1 would then equal UINT_MAX setting that MID would get ignored
and while we'd return 0 in the notify we'd actually expect 1 afterwards.

ikev2: Don't cache response to MID sync request

ikev2: Accept INFORMATIONAL messages with MID 0 if used to sync MIDs

We are very picky to only allow MID 0 for these messages (while we
currently don't support IPSEC_REPLAY_COUNTER_SYNC notifies we accept
them).

ikev2: Negotiate support for IKE message ID synchronisation during IKE_AUTH

ikev2: Add task to handle IKEV2_MESSAGE_ID_SYNC notifies as responder

ike: Publish getter for the current message ID on IKE_SA

ike: Add getter for the current message ID to task manager

Merge branch 'bypass-lan'

Adds a new plugin that automatically installs and updates bypass policies
for locally attached subnets.  This is useful for laptops etc. that are
used in different networks and prefer maintaining access to local hosts
(e.g. network printers or NAS) while connected to a VPN.

kernel-pfroute: Implement enumeration of local subnets

bypass-lan: Allow ignoring or only considering subnets of specific interfaces

The config can also be reloaded by sending a SIGHUP to charon.

bypass-lan: Configure interface on bypass policy

Currently, only the kernel-netlink plugin supports this, the others will
just ignore it.

kernel-netlink: Return interface name in local subnet enumerator

kernel-interface: Add interface name to local subnet enumerator

bypass-lan: Add plugin that installs bypass policies for locally attached subnets

kernel-netlink: Implement enumerator for local subnets

kernel-interface: Add method to enumerate locally attached subnets

kernel-pfkey: Use the same priority range for trap and regular policies

Same as the change in the kernel-netlink plugin.

kernel-netlink: Use the same priority range for trap and regular policies

While trap and regular policies now often look the same (mainly because
reqids are kept constant) trap policies still need to have a lower priority
than regular policies to handle unroute/route correctly if e.g. IPComp
is used or the mode changes.  But if we use a completely different
priority range that's lower than that of regular policies it is not possible
to install overlapping trap policies.  By differentiating trap from
regular policies via the priority's LSB this issue is avoided while
still maintaining the proper ordering of trap and regular policies.

Fixes #1243.

kernel-netlink: Fix spacing in log message when policy is unchanged

ikev1: Factor out IV and QM management

This simplifies implementing a custom keymat_v1_t.

keymat: Allow keymat to modify signature scheme(s)

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

forecast: Mark correct port in UDP NAT-T rule

Closes strongswan/strongswan#62.

android: New release after adding translation for Simplified Chinese

android: Add translation for Simplified Chinese

Courtesy of Yick Xie.

settings: Fix purge if order differs from alphabetical order

eap-dynamic: Publish the get_auth() method of the wrapped EAP method

Fixes #2238.

pkcs11: Fix documentation of load_certs option

This option is actually module-specific.

ike-auth: Don't send INITIAL_CONTACT if remote ID contains wildcards

Such an identity won't equal an actual peer's identity resulting in
sending an INITIAL_CONTACT notify even if there might be an existing
IKE_SA.

proposal: Copy SPI and proposal number from correct proposal in select()

If charon.prefer_configured_proposals is disabled select() is called on
the received proposal. This incorrectly set the SPI to 0 as the
configured proposal has no SPI set.

Fixes #2190.

kernel-netlink: Set NODAD flag for virtual IPv6 addresses

The Optimistic Duplicate Address Detection (DAD) seems to fail in some
cases (`dadfailed` in `ip addr`) rendering the virtual IP address unusable.

Fixes #2183.

kernel-netlink: Prefer matching label when selecting IPv6 source addresses

This implements rule 6 of RFC 6724 using the default priority table,
so that e.g. global addresses are preferred over ULAs (which also have
global scope) when the destination is a global address.

Fixes #2138.

kernel-netlink: Use correct 4 byte alignment for AH with IPv4

By default, the kernel incorrectly uses an 8 byte alignment, which is
mandatory for IPv6 but prohibited for IPv4.  For many algorithms this
doesn't matter but that's not the case for HMAC_SHA2_256_128.
Since 2.6.39 the kernel can be explicitly configured to use a 4 byte
alignment.

kernel-netlink: Allow change of Netlink socket receive buffer size

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

kernel-pfkey: Set state to SADB_SASTATE_MATURE when adding/updating SAs

Picky kernels might otherwise reject our messages as RFC 2367 explicitly
mandates this.

Fixes #2212.

kernel-pfroute: Don't set a gateway if it is of a different address family than the destination

libipsec: Add support for AES and Camellia in CCM mode

Fixes #2172.

libipsec: Fix Windows build via MinGW

Fixes #2118.

stroke: Default to %dynamic if no valid TS are specified in left|rightsubnet

Otherwise, we'd end up with an empty TS list, which is not valid.

Because end->tohost is set to !end->subnets in starter the removed branch was
never used.

init: Let systemd restart daemons if they get terminated unexpectedly

Fixes #2205.

init: Depend on network-online.target instead of network.target in systemd units

This makes sure the network is "up" before connections are
loaded/initiated.

Fixes #2205.

Merge branch 'charon-systemd-reload-loggers'

Allows reloading strongswan.conf, the loggers, and the plugins in
charon-systemd by sending a SIGHUP (as already supported by charon).

Loggers are now also reloaded by VICI's `reload-settings` command (works
with both daemons).

Fixes #2222.

vici: Reload loggers after reloading strongswan.conf via reload-setting command

daemon: Use separate method to set default loggers

This way it is not necessary to pass the same values to reload the
loggers.

charon-systemd: Handle SIGHUP the same way charon does

That is, reload strongswan.conf, the loggers and the plugins.

ha: Fix assignment of IP addresses if multiple pools are defined

Fixes #2146.

ha: Delete passive IKE_SA on other node after half-open timeout

Fixes #1192.

kernel-netlink: Return const pointer from lookup_algorithm()

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

Merge branch 'android-import'

Adds a VPN profile import feature.

android: New release after adding profile import functionality

android: Handle profile file names with dots in them

android: Handle errors when fetching profile in more detail

android: Add activity to import VPN profiles from JSON-encoded files

The file format is documented on the wiki.

URLs to .sswan files may be intercepted and downloaded files with a media
type of application/vnd.strongswan.profile may also be opened (the file
extension doesn't matter in that case).  Whether downloaded files for which
the media type is not correct but the extension is .sswan can be opened
depends on the app that issues the Intent.  For instance, from the default
Downloads app it won't work due to the content:// URLs that do not contain
the file name but when opening the downloaded file from within Chrome's
Downloads view it works as these Intents use file:// URLs, which contain
the complete file name (the latter requires a new permission).

android: Use a local broadcast to notify about profile changes

This allows other components to modify the profiles and notify about
changes.

android: Add a UUID property to the VPN profiles

All new or edited profiles get a random UUID.  We currently don't
enforce one, though.  Later we might change that and use the UUID as
primary key.

Merge branch 'ipsec-commands'

Fixes an issue with the ipsec script when used with sudo.

I'd usually rebase this but the commit ID was already referenced
elsewhere.

ipsec: Only allow specific commands to be executed via ipsec script

The previous fallback allowed running any executable as root if executing
ipsec via sudo was allowed, by using e.g. `sudo ipsec ../../../bin/sh`.

bliss: Increase timeout for sampler unit test

Fixes #2204.

android: Include ref10 subdirectory for curve25519 plugin

Fixes #2201.

Version bump to 5.5.2dr4

Merge branch 'disable_ocsp'

testing: Added swanctl/ocsp-disabled scenario

testing: Added swanctl/ocsp-signer-cert scenario

revocation: OCSP and/or CRL fetching can be disabled

testing: Convert swanctl scenarios to curve-25519

Version bump to 5.5.2dr3 and Linux kernel 4.9