testing: Migrated ipv6 scenarios to new default plugins

testing: Distributed openssl-ikev1 scenarios

testing: Migrated ikev1-algs scenarios to new default plugins

testing: Migrated ikev1 scenarios to new default plugins

testing: Distributed openssl-ikev2 scenarios

testing: Migrated ikev2-algs scenarios to new default plugins

testing: Migrated ikev2 scenarios to new default plugins

oqs: Included version 4.1 of BIKE Round 3 (L1 and L3)

Requirement: liboqs-0.7.0

oqs: Support for HQC key exchange algorithm

oqs: Support of Falcon signature algorithms

ntru: Removed legacy NTRU key exchange method

newhope: Removed legacy Newhope key exchange method

bliss: Removed legacy BLISS signatures

oqs: Added signature tests

scripts: Added nist_sig_kat script

oqs: Support of Dilithium signature algorithms

testing: Added ikev2/rw-cert-qske scenario

frodo: FrodoKEM KE method

oqs: Added post-quantum KEM methods based on liboqs

scripts: Added script formatting NIST KEM KAT records into ke_test vectors

test-vectors: Added NIST KEM test vectors

key-exchange: Joint ke_test_vector format for DH and KEM

Both Diffie-Hellman (DH) and Key Encapsulation Mechanism (KEM) based
key exchange methods use a common ke_test_vector format. The
set_seed() function is used to provide deterministic private key
material for the crypto tests.

key-exchange: Add identifiers for NIST round 3 submission KEM candidates

unit-tests: Ensure listeners can track SAs via ike/child_updown/rekey()

Previously, it could happen that child_rekey() was triggered twice for
the same "old" SA.  For listeners that would mean they'd loose track as
they'd be tracking a new SA that wasn't relevant anymore and for which
no updown event would ever get triggered (it was the redundant SA in a
collision).  This new assert ensures that events are triggered in a
predictable way and listeners can track SAs properly.

ikev2: Make CHILD_SAs properly trackable during rekey collisions

As the winner of a rekey collision, we previously always triggered the
child_rekey() event once when creating the redundant SA on behalf of the
peer in the passive child-rekey task and then a second time when
creating the winning SA in the active task.  However, both calls passed
the replaced CHILD_SA as "old". This made tracking CHILD_SAs impossible
because there was no transition from the redundant, "new" SA of the
first event to the "new", winning SA of the second.  Of course, when the
second event was triggered, the redundant SA might not have existed
anymore because the peer is expected to delete it, which could happen
before the CREATE_CHILD_SA response arrives at the initiator.

This refactoring ensures that the child_rekey() event is triggered in
a way that makes the CHILD_SAs trackable in all reasonable (and even
some unreasonable) scenarios.  The event is generally only triggered
once after installing the outbound SA for the new/winning CHILD_SA.
This can be when processing the CREATE_CHILD_SA in the active child-rekey
task, or when processing the DELETE for the old SA in a passive
child-delete task.  There are some cases where the event is still
triggered twice, but it is now ensured that listeners can properly
transition to the winning SA.

Some corner cases are now also handled correctly, e.g. if a responder's
DELETE for the new CHILD_SA arrives before its CREATE_CHILD_SA response
that actually creates it on the initiator.  Also handled properly are
responders of rekeyings that incorrectly send a DELETE for the old
CHILD_SA (previously this caused both, the new and the old SA, to get
deleted).

wip: ike-init: Indicate support for IKE_INTERMEDIATE

wip: We should also add some checks if the notify was not received.

proposal: Prevent selection of duplicate key exchange methods

All additional (and the initial) key exchanges must use a different method.

proposal: Add helper to check if additional key exchanges are contained

proposal: Accept NONE for additional key exchanges also for IKE proposals

unit-tests: Add tests for CHILD_SA rekeying with multiple key exchanges

unit-tests: Add tests for CHILD_SA creation with multiple key exchanges

unit-tests: Tests for additional key exchanges

unit-tests: Support multiple proposals in exchange tests

vici: Increase maximum proposal length

vici: List additional key exchanges

Co-authored-by: Tobias Brunner <tobias@strongswan.org>

proposal: Add prefix for additional key exchanges when logging proposals

key-exchange: Add dynamic parser for additional key exchange methods

child-rekey: Support CHILD_SA rekeying with multiple key exchanges

unit-tests: Fix CHILD_SA rekey tests after INVALID_KE_PAYLOAD handling changes

The responder doesn't create a CHILD_SA and allocate an SPI anymore
when responding with an INVALID_KE_PAYLOAD notify.

child-create: Add support for multiple key exchanges

It also changes that payloads are built before installing the CHILD_SA
on the responder, that is, the KE payload is generated before keys are
derived, so that key_exchange_t::get_public_key() is called before
get_shared_secret(), or its internal equivalent, which could be relevant
for KE implementations that want to ensure that the key can't be
accessed again after the key derivation.

ike-rekey: Support IKE_SA rekeying with multiple key exchanges

ike-init: Add support for multiple key exchanges

Initially, this is handled with a key derivation for each
IKE_INTERMEDIATE exchange.  When rekeying the keys are derived only when
all IKE_FOLLOWUP_KE exchanges are done.

bus: Support multiple key exchanges in ike/child_keys() events

keymat_v2: Support key derivation with multiple key exchanges

key-exchange: Add helper to concatenate shared secrets of several key exchanges

keymat_v2: Proper cleanup if derive_ike_keys() is called multiple times

ike-auth: Calculate and collect IntAuth for IKE_INTERMEDIATE exchanges

The message ID of the first IKE_AUTH exchange is a safe-guard against
potential truncation attacks if IKE_INTERMEDIATE exchanges are not used
for multiple key exchanges but some other future use where the number of
exchanges might not depend on the selected proposal.

pubkey-authenticator: Handle IntAuth data

psk-authenticator: Handle IntAuth data

eap-authenticator: Handle IntAuth data

keymat_v2: Include optional IntAuth in signed octets

authenticator: Add optional method to set IntAuth data

message: Store original encrypted payload when generating fragments

If we don't do this, get_plain() will fail after generating the message
fragmented.

message: Add method to generate data to authenticate IKE_INTERMEDIATE exchanges

generator: Make pointer to length field optional

Only useful if we generate an IKE header.

keymat_v2: Add method to calculate IntAuth for IKE_INTERMEDIATE exchanges

message: Add rules for IKE_FOLLOWUP_KE exchanges

ike-header: Add IKE_FOLLOWUP_KE exchange type

notify-payload: Add notify types for multiple key exchanges

ikev2: Reject IKE_INTERMEDIATE requests after IKE_AUTH

We currently only support these exchanges for additional key exchanges,
so once we have the final keys derived and the ike-init task is removed,
we don't expect any more of them.

message: Add rules for IKE_INTERMEDIATE exchanges

ike-header: Add IKE_INTERMEDIATE exchange type

notify-payload: Add notify type for IKE_INTERMEDIATE exchange

proposal-substructure: Encode additional key exchange methods

proposal: Make all key exchange transforms optional in ESP/AH proposals

proposal: Skip all KE transforms if PROPOSAL_SKIP_KE given

transform: Add helper to check if transform type negotiates key exchange

transform: Add additional key exchange transform types

testing: Use pip from venv to download dependencies

pip3 isn't installed in the base image anymore since 21bf3e41f94a
("testing: Use venv for strongTNC").

kernel-pfroute: Maintain virtual flag when repopulating interface addrs

When adding a virtual IP on a TUN interface, the interface might get
activated (in terms of receiving the event) after we've already set the
virtual flag for the added address.  As the activation repopulates the
addresses on the interface, this cleared the flag and the address would
no longer be treated as virtual IP when installing routes for CHILD_SAs
that reference it in their local traffic selectors.

Closes strongswan/strongswan#1807

Merge branch 'netlink-buf'

Fixes an infinite loop if e.g. Netlink event sockets get too many
packets queued and poll() just returns POLLERR for the socket.  Also
increases the default receive buffer size for Netlink sockets to better
support systems with lots of route updates.

Closes strongswan/strongswan#1757

watcher: Change handling of POLLERR and remove WATCHER_EXCEPT

We can't actually explicitly listen for errors by passing POLLERR in
`events` (the man page for poll() clearly states it's ignored).  On the
other hand, POLLERR can be returned for any FD and, even worse, it might
be the only event indicated.

The latter caused an infinite loop as we didn't notify the callback nor
clear the error by calling `getsockopt(..., SOL_SOCKET, SO_ERROR, ...)`.
And while the latter would be able to reset the state to break the loop,
it seems to leave the FD in a defunct state where no further events will
be returned by poll().  Notifying the callback works better (the error
is then reported by e.g. recvfrom()) and automatically happened already
if POLLERR was returned together with e.g. POLLIN.

So we now treat POLLERR like the other error indicators we handle (POLLHUP
and POLLINVAL) and just notify the callbacks.

kernel-netlink: Also set the receive buffer size on event sockets

This was weirdly overlooked and could cause issues e.g. on hosts with
lots of route changes.

kernel-netlink: Increase the default receive buffer size

Also simplify how we try to exceed the system-wide maximum.  We basically
just try to force the value and simply fall back to the regular call.
The kernel actually won't let the latter fail if the value is too big,
it just caps it at the internal maximum.

ike: Fix untracking IKE_SA_INITs with non-zero MIDs and SPIs as half-open SAs

We track all IKE_SA_INIT requests as half-open IKE_SAs but didn't
correctly untrack them if their message ID or responder SPI was non-zero.

References strongswan/strongswan#1775

Fixes: b866ee88bf54 ("ike: Track unprocessed initial IKE messages like half-open IKE_SAs")

child-rekey: Correctly encode protocol/SPI in CHILD_SA_NOT_FOUND notify

As specified in RFC 7296, section 2.25:

   The SA that the initiator attempted to rekey is indicated by the SPI
   field in the Notify payload, which is copied from the SPI field in
   the REKEY_SA notification.

So we copy that and the protocol verbatim.

notify-payload: Add methods to simplify encoding and retrieving IKE SPIs

The get_spi_data() method is currently not used, so that has been
simplified so it can be used for any protocol type and any SPI length.
Same for set_spi_data(), which is currently used for IKEv1 to encode
two SPIs.

sha3: Make sure to wipe the internal Keccak state

pki: Make sure to wipe decrypted PKCS#7 data

pkcs12: Make sure to wipe potentially decrypted PKCS#7 data

pkcs7: Make sure to wipe decrypted content

aesni: Make sure to wipe salt

ccm: Make sure to wipe salt

gcm: Make sure to wipe salt and H

charon-nm: Use configured interface name if available

If connection.interface-name is configured, we use that instead of the
randomly generated name.

References strongswan/strongswan#1747

charon-nm: Also log basic connection details

charon-nm: Actually use the created XFRM interface

The created XFRM interface was not actually used (no interface IDs on the
SAs, no routes via interface).  It was basically treated like the dummy
TUN device.  To actually install the routes via XFRM interface, we have
to create it before we install the SAs and policies, signal_ip_config()
happens too late.  We also have to mark the ESP packets the same as IKE
the packets to avoid a routing loop if the server's IP is included in
the remote traffic selector (in particular if it's 0.0.0.0/0 or ::/0).

Fixes: 58f278f93239 ("charon-nm: Use an XFRM interface if available")

Use Botan 3.1.1 for tests

The all-zero Ed25519 public key is rejected by botan_pubkey_check_key()
when the key is loaded.

Note that Botan 3 requires GCC 11 or CLANG 14, i.e. can't easily be built
on Debian bullseye or Ubuntu 20.04.

The thread-local storage function gets flagged via various botan FFI
functions when using Botan 3, whitelist that instead of all of them.

Merge branch 'testing-bookworm'

Use Debian bookworm as base image for testing.

testing: Format total time in a more readable way

testing: Change memory allocation for alice and winnetou and switch to MiB

The services running on alice seem to require a bit more memory with
Debian bookworm, so increase the memory allocation.  But at the same
time reduce winnetou's allocation by the same amount as it really doesn't
require that much memory.

The unit change makes it easier to read.

testing: Hardcode /testresults mount point in winnetou's fstab

Because do-tests runs the restore-defaults script, fstab would get reset
to the default version and the mount point wouldn't be available anymore
after stopping and restarting the guests (unless the guest images were
rebuilt in between).

testing: Copy guest-specific files after default files

This allows overriding some files per guest.

testing: Use Debian 12 (bookworm)

testing: Use Debian bookworm to test TKM

testing: Update TKM dependencies to fix compilation with newer GNAT versions

testing: Add support for Debian bookworm base images

By default, rsyslog is not installed anymore to avoid storing everything
twice (since journald is the default).  If this becomes an issue, we
could delete /var/log/journal to only log via rsyslog.

testing: Use venv for strongTNC

Also updated to a newer version to fix dependency issues.

testing: Install python-daemon via Debian package

System-wide installation via pip isn't easily possible anymore on Debian
bookworm, so just use the Debian package for this (is available in old
releases as well).

libimcv: Add Debian 12 (bookworm) to database

Because libcrypto and libssl are measured, we need a new group for Debian
versions with OpenSSL 3 (I've rather added a suffix to the old group as
that could eventually get removed, although we might need a 3.1 variant
in the future - maybe we should measure some other files?).