testing: Extended swanctl/rw-qske-l1 scenario

wip

wip: unit-tests: Add QSKE exchange tests

unit-tests: Add mock QSKE implementation

ike-sa-manager: Log SPIs when checking in an IKE_SA

wip: CHILD_SA rekey and creation testing

ikev2: Use hashes to detect retransmits

We avoid parsing messages with unexpected message IDs.  This allows us to
process and detect retransmits of messages for which we don't have the keys
anymore (i.e. IKE_AUX after IKE_SA_INIT and changing the keys).

This also changes how retransmits for fragmented messages are triggered,
previously we waited for all fragments and reconstructed the message
before retransmitting the response.  Now we only track the first
fragment and if we receive a retransmit of it respond immediately
without waiting for other fragments (which are now ignored).  This is in
compliance with RFC 7383, section 2.6.1.

child-create: Change how DH group/QSKE mechanism is determined

Either reuse algorithms previously used (rekeying) or use the IKE_SA's
proposal to determine a preferred group/mechanism.

child-cfg: Add method to check if an algorithm is proposed

unit-tests: Fix CHILD_SA rekey tests after INVALID_KE_PAYLOAD handling changes

The responder doesn't create a CHILD_SA and allocate an SPI anymore
when responding with an INVALID_KE_PAYLOAD notify.

wip: child-create: Prototypical support for QSKE mechanisms

wip: For some errors a more specific notify might be preferable (e.g.
INVALID_SYNTAX if a QSKE payload is missing or an exchange other than
IKE_AUX follows CREATE_CHILD_SA if a QSKE mechanism was negotiated).

oqs: Allow different paths to generate/encapsulate the shared secret

This way we don't have to generate the QSKE payload before we can query
the shared secret.

keymat_v2: Add optional qske_t argument to derive_child_keys()

child-cfg: Generalize get_dh_group() method

child-cfg: Strip QSKE mechanisms from ESP proposal when we strip DH groups

wip: keymat_v2: Cache initial IKE messages for auth octets

This avoids pre-generating the message to be sent and supports fragments
as used for IKE_AUX.

In scenarios with IKE_AUX this basically changes the auth octets as follows:

  InitiatorSignedOctets = RealMessage1(INIT) | RealMessage3(AUX) | ...
                          NonceRData | MACedIDForI

and

  ResponderSignedOctets = RealMessage2(INIT) | RealMessage4(AUX) | ...
                          NonceIData | MACedIDForR

wip: Since this requires keeping around quite some data, alternatives would
be to hash the message (with some negotiated or fixed hash function) or
applying the PRF (if it is QC-safe, e.g. with a zero key or the ones we
derived from DH).

testing: Added swanctl/rw-qske-l1 and swanctl/rw-qske-l5 scenarios

ike-rekey: Reset IKE_SA after processing CREATE_CHILD_SA request

This probably didn't cause any problems, as there wasn't really anything
happening between the calls, but reset it anyway, just to be safe.

wip: ike-init: Prototypical (optional) IKE_AUX exchange for QSKE mechanisms

The QSKE payloads are, by default, exchanged in a separate IKE_AUX exchange
after IKE_SA_INIT to leverage IKEv2 fragmentation.  It would be possible
to do that directly in IKE_SA_INIT (DH is currently not optional, though).

Rekeying is always done with a single CREATE_CHILD_SA exchange (again,
DH is currently not optional).

The key material is derived by concatenating the DH and QSKE secrets.

wip: DH could theoretically be made optional if QSKE is used (only during
rekeying, or when not using IKE_AUX also during IKE_SA_INIT)

wip: HA and the ike_keys() hook on listener_t currently handle only
classic key derivation.

wip: Retransmits of IKE_AUX requests will fail after changing the keys?
We either have to keep the old keys around, or use hashes to detect
retransmits (tricky with fragments, unless we retransmit the message
even if we receive the retransmit of just one fragment).

notify-payload: Add INVALID_QSKE_PAYLOAD notify type

ike-cfg: Generalize get_dh_group() method

proposal: Generalize DH methods

keymat_v2: Add optional qske_t argument to derive_ike_keys()

If given, its shared secret is appended to the secret provided by the
diffie_hellman_t implementation.

keymat_v2: Proper cleanup if derive_ike_keys() is called multiple times

keymat_v2: Add method to create QSKE implementation

ikev2: Allow tasks to do work after generating requests/responses

task: Add optional post_build() method

This will allow tasks to do some work after the message has been
generated.

unit-tests: Use a simple default IKE proposal to avoid issues with IKE_AUX

The exchange tests don't expect an IKE_AUX exchange so we don't want any
QSKE methods getting negotiated (in case they are proposed in the default
proposal).

ike-auth: Support IKE_AUX exchange between IKE_SA_INIT and IKE_AUTH

child-create: Support IKE_AUX exchange between IKE_SA_INIT and IKE_AUTH

Handling of IKE_AUX when creating new CHILD_SAs or rekeying is not yet
implemented.

ike-mobike: Support IKE_AUX exchange between IKE_SA_INIT and IKE_AUTH

This changes the MID of the first IKE_AUTH message.

ike-config: Support IKE_AUX exchange between IKE_SA_INIT and IKE_AUTH

This changes the MID of the first IKE_AUTH message.

ike-cert-post: Make absolutely sure certificates are only added to IKE_AUTH

The AUTH payload check should be fine, but add some extra checks just to make
really sure and also for clarification.

ike-cert-pre: Support IKE_AUX exchange between IKE_SA_INIT and IKE_AUTH

The first IKE_AUTH does not have MID 1 if that's the case.

status: Add return_need_more() utility function

test-vectors: Added QSKE vectors

scripts: nist-kam-kat generates KEM KAT test data

The script converts the Known-Answers-Test data (KAT) for the NIST
post-quantum round 1 submission Key Encapsulation Mechanism (KEM)
candidates into a C struct amenable for our unit-tests.

unit-tests: Tests for oqs plugin

unit-tests: Fixed newhope plugin test

oqs: Created QSKE plugin based on OQS library

qske-newhope: Created NewHope QSKE plugin

stroke: Support for QSKE mechanisms

swanctl: Support for QSKE mechanisms

vici: Support for QSKE mechanisms

encoding: Transport of QSKE payload via IKE_AUX

crypto: Support for QSKE mechanisms

A new transform type for Quantum-Safe Key Encapsulation (QSKE)
mechanisms is defined.

nm: Version bump to 1.4.5

Version bump to 5.8.0rc1

testing: Use strongswan systemd service

testing: Load PEM keys in ikev2/net2-net-rsa scenario

testing: Copy keys and certs to swanctl/rw-newhope-bliss scenario

keymat_v1: Avoid memory leak during IKE key derivation in some error cases

Closes strongswan/strongswan#138.

Merge branch 'build-certs'

Adds a script to generate the keys and certificates used for regression
tests dynamically.  They are built with the pki version installed in the
root image so it's not necessary to have an up-to-date version with all
required plugins installed on the host system.

testing: Return an error if any command in the certificate build script fails

testing: Build certificates before guests after building strongSwan

If the script is run on a clean working copy, building the guests will
fail if the certificates don't exist.

testing: Automatically build guest images after generating certificates

This (re-)generates the CRLs on winnetou.

testing: Use custom plugin configuration to build SHA-3 CA

pki: Plugins to load may be defined via PKI_PLUGINS env variable

testing: Fix ikev2/net2net-rsa scenario

testing: Add wrapper script to build certificates in root image

This does not modify the root image but uses the strongSwan version
installed there (avoids build dependencies on version installed on the
host to use pki to generate all the keys and certificates).

testing: Upgrade to Linux 5.1 kernel

pki: Allow inclusion of [unsupported] critical X.509 extension

testing: Updated build-certs script

testing: Deleting dynamic test keys and certificates

testing: Exclude files that are ignored in Git from the distribution

Since the complete hosts and tests directories are part of the tarball
this would include generated certificates and keys.

testing: Remove dynamic keys and certs from repository

testing: Build data.sql files for SQL test cases

pki: Add different output options for --keyid

Makes machine-processing these identifiers easier.

testing: Build CERT and IPSECKEY RRs for strongswan.org zone

Also copy generated keys to DNSSEC test cases.

testing: Rename public keys in DNSSEC scenarios

We will generate PEM-encoded public keys with the script.

testing: Convert keys and certificates for all TKM scenarios

testing: Disable leak detective in build-certs script

testing: Script building fresh certificates

smp: Use correct printf specifier to print SPIs

fast: Use correct printf specifier to print content length

libimcv: Use proper printf specifier for unsigned issuer and responder IDs

swima-collector: Use proper type for field precision

openssl: Fix build with OpenSSL 1.1.1 without compatibility layer

If OpenSSL is built with --api, defines for deprecated functions in
OpenSSL's header files are not visible anymore.

Fixes #3045.

travis: Build OpenSSL 1.1.1 without compatibility layer for older versions

Configuring 1.1.1 is not actually possible with 1.1.1b, not sure if
that's on purpose.

travis: Make sure crypto plugins are actually loaded

starter: Remove IPsec stack detection

Checking specifically for /proc/net/pfkey is not ideal as af_key will
eventually be removed in Linux kernels.  Support for KLIPS is long gone.
The detection also wasn't used for anything anymore (failures were just
ignored since the ports to BSD-based systems).  And modprobing doesn't seem
to be necessary either (charon-systemd doesn't do that, for instance).

vici: Add Python command wrappers to tarball

Fixes: e0f7da864481 ("vici: Extract command wrappers in Python bindings")

pki: Fix memory leaks in --signcrl if signature scheme is not found

Fixes: dd4bd21c5a22 ("pki: Query private key for supported signature schemes")

testing: Update documentation in headers of all updown scripts

swanctl: Move documentation of if_id_in/out after all mark-related options

Also fix a typo.

Fixed some typos, courtesy of codespell

nonce: Allow overriding the RNG quality used to generate nonces

Usually, changing this won't be necessary (actually, some plugins
specifically use different DRGBs for RNG_WEAK in order to separate
the public nonces from random data used for e.g. DH).
But for experts with special plugin configurations this might be
more flexible and avoids code changes.

unit-tests: Fix skipping of some ECDSA signature schemes

Closes strongswan/strongswan#137.

NEWS: Added some news for 5.8.0

Merge branch 'update-vici-bindings'

Updates the command wrappers in all the bindings and simplifies calling
new commands (i.e. not yet wrapped) with the Python and Ruby bindings.

Fixes #3028.

vici: Update command wrappers in the Perl bindings

Note that load_key() now returns the complete response (to get the key
identifier).

vici: Update some data in the Ruby gemspec

vici: Some code style fixes in the Ruby bindings

As reported by rubocop (some issues were not fixed, in particular
related to class/method length metrics).

vici: Update command wrappers of the Ruby bindings

Also reorder them to match README.md.

vici: Refactor how commands are called in the Ruby bindings

Also expose a method to call arbitrary commands, which allows calling not
yet wrapped commands. Exceptions are raised for all commands if the response
includes a negative "success" key (similar to how it's done in the Python
bindings).

vici: Fix formatting of return values for load-conn and load-authority commands

vici: Add missing command wrappers for Python bindings

Also change some for which the return value became relevant.

vici: Extract command wrappers in Python bindings

This simplifies the interface and allows calling not yet wrapped
commands more easily.

eap-aka-3gpp2: Increase SQN after each authentication

Merge branch 'childless'

Adds support for childless initiation of IKE_SAs (RFC 6023) e.g. to
force a separate DH exchange for all CHILD_SAs including the first one.

Also allows the initiation of only the IKE_SA via swanctl --initiate if
the peer supports this extension.

Closes strongswan/strongswan#99.