openssl: Use a longer key to test/initialize HMAC instances

OpenSSL enforces a minimum of 14 bytes (112 bits) on the key size when
used in FIPS-mode (as required by SP 800-131A).  So by using an empty
string, instantiation always failed.  32 bytes (256 bits) should be safe
for now.

Closes strongswan/strongswan#557

testing: Fix build of tkm and tkm-rpc

github: Use latest version of SonarScanner

kernel-netlink: Initialize ifreq structs when detecting offload capability

gitignore: Add nbproject/

As used by the NetBeans IDE.

Closes strongswan/strongswan#505.

Ignore android-* tags when using `git describe`

Merge branch 'android-updates'

Adds a button to install user certificates and updates the target SDK
version for Android 11 (and the related deprecation fixes), which will
be mandatory later this year.

The release also includes an older commit that changed how DNS servers
are applied to TUN devices (cd10ae2ff050 ("android: Explicitly apply DNS
servers to the TUN device")).

Also added are metadata for F-Droid.

android: New release after adding button to install PKCS#12 and SDK update

It also includes an unreleased change that affects when/how DNS servers
are applied to the TUN device.

android: Request QUERY_ALL_PACKAGES permission

This is required when targeting Android 11 (API 30) in order to see all
packages, which we use to allow selecting apps ex-/included from VPN
profiles and for the EAP-TNC use case.

android: Add Triple-T metadata for F-Droid

We currently don't use Triple-T but the metadata is also parsed by F-Droid
to provide information for included apps.

android: Add a button to install user certificates

Newer Android versions don't provide this option anymore on the
selection dialog.

android: Replace deprecated Switch with SwitchCompat

android: Replace deprecated AsyncTask instances

As suggested by the Android docs, we use a global thread pool and handler
to avoid recreating them repeatedly.  Four threads should be more than
enough as we only use this to load CA certificates when the app starts
initially and to load user certs when editing a profile.

android: Migrate from deprecated ViewPager to ViewPager2 for CA cert lists

android: Replace deprecated FileObserver() constructor with newer SDKs

android: Replace usage of deprecated Handler() constructor

android: Replace deprecated onActivityCreated() with onViewCreated()

android: Replace deprecated startActivityForResult/onActivityResult usage

android: Set compile-/targetSdkVersion to 30

This will be mandatory for new apps in August and for existing apps
in November.  However, several classes like AsyncTask are now deprecated
so this needs some work to avoid warnings and problems in the future.

android: Replace jcenter with mavenCentral repository

android: Update dependencies

android: Update Gradle plugin

Use wolfSSL 4.8.0 for tests

Version bump to 5.9.3

vici: Suppress trailing nul character

testing: Use specific versions of swidGenerator and strongTNC

This way we get updated versions automatically (referencing "master"
required manually deleting the downloaded archives and the unpacked
directories).  It also allows switching versions when working in different
branches (note that REV can also be set to a commit ID, e.g. to test
changes before tagging them later and merging the branch).

kernel-netlink: Fix theoretical memory leak when parsing routes

This currently can't happen as the kernel always puts RTA_TABLE as first
attribute in RTM_NEWROUTE messages.

Fixed some typos, courtesy of codespell

Main change is the conversion from the British cancelling/-ed to the
American canceling/-ed.

Version bump to 5.9.3rc1

testing: Build wolfSSL from the Git repository

Use the same configure options etc. for both builds (no need for the cert
options as we don't use TLS or X.509 parsing) and switch to a Git commit
that includes the SHA-3 OID fix (it's actually the fix itself).

testing: Fixed ikev2/farp scenario

Version bump to 5.9.3dr4

testing: Migrate ikev2-stroke-bye scenarios to vici

testing: Fixed pretest script of ikev1/rw-psk-aggressive scenario

testing: Migrate ikev2/host2host-transport-nat scenario to vici

This also restores the test as it was before the referenced commit so it
again, as written in the description, demonstrates that venus is unable
to ping sun without IPsec tunnel.

Fixes: f27fb58ae0ec ("testing: Update description and test evaluation of host2host-transport-nat")

testing: Migrate MOBIKE tests to vici

Note that the mobike-nat test has been removed as it basically did the same
as the mobike-virtual-ip-nat test.  Instead, the mobike-nat-mapping scenario
is added, which simulates a NAT router restart.

ike-mobike: Force MOBIKE update after NAT mappings changed

The addresses observed by the client behind the NAT are exactly the same if
the NAT router gets restarted.

Fixes: 2b255f01afbc ("ike-mobike: Use ike_sa_t::update_hosts() to trigger events")

ike-sa: Log IKE endpoint changes

ha: Register the correct IKE_SA with the manager after a rekeying

Fixes: 20dfbcad0875 ("ha: Register new IKE_SAs before calling inherit_post()")
Closes strongswan/strongswan#456.

Merge branch 'vici-stuck'

Closes strongswan/strongswan#268.

vici: Signal waiting threads when skipping disconnected connections

If two threads are waiting in find_entry() and remove_entry(),
respectively, and the former is woken first, the latter remains stuck
as it won't get signaled.

vici: Signal waiting threads when removing a connection entry

If there are threads waiting in find_entry() and one in remove_entry()
and the latter is woken first by a thread calling put_entry(), the
former threads would remain stuck as they get never signaled.

kernel-netlink: Don't wait for VIPs to disappear during de-initialization

This can happen if an IKE_SA is terminated forcefully shortly before
terminating the daemon.  The thread that handles the terminate command
will call checkin_and_destroy(), which unregisters the IKE_SA from the
manager before destroying it.  The main thread that calls flush() on the
IKE_SA manager won't wait for this SA (its entry is already gone), so
the processor and in turn the watcher job/thread might get canceled
before the first thread started deleting the VIP.  It would then wait
indefinitely for a signal that can never be sent.

There is still a small chance the thread hangs in wait() if the state check
happens right before the watcher is canceled and it wasn't yet able to
deliver the event from the kernel, we counter that by rechecking the state
after a while.

NEWS: Add news for 5.9.3

testing: Update Anet to version 0.4.2

charon-tkm: Remove useless checks when deriving IKE keys

charon-tkm: Delegate encryption/decryption of IKE traffic to TKM

Co-authored-by: Tobias Brunner <tobias@strongswan.org>

pkcs11: Change how unavailable attributes like CKA_TRUSTED are handled

If a PKCS#11 library/token doesn't provide one or more attributes via
C_GetAttributeValue(), we get back CKR_ATTRIBUTE_TYPE_INVALID (similar
for protected attributes where CKR_ATTRIBUTE_SENSITIVE is returned).
This is not an error as the spec demands that all attributes have been
processed with the unavailable attributes having set their length
field to CK_UNAVAILABLE_INFORMATION.

We use this to handle the CKA_TRUSTED attribute, which some tokens
apparently don't support.  We previously used a version check to remove
the attribute from the call but even the latest spec doesn't make the
attribute mandatory (it's just in a list of "common" attributes for
CKO_CERTIFICATE objects, without a default value), so there are current
tokens that don't support it and prevent us from enumerating certificates.

receiver: Avoid division by 0 after system start if CLOCK_MONOTONIC is used

Depending on how CLOCK_MONOTONIC is implemented, time_monotonic() might
return 0 within 1 second after the system is started.  If that's the
case, we just default to 0 for now to avoid a crash (doesn't "hide" the
system time, but it's only the uptime anyway in this case).

Closes strongswan/strongswan#435.

charon-nm: Simplify certificate enumeration and allow IDs other than DNs

This allows using SANs as identity instead of having to use the subject DN.

References strongswan/strongswan#437.

dhcp: Move log messages for received packets

This way they are logged in the context of the corresponding IKE_SA.

Closes strongswan/strongswan#417.

bus: Extend and reorder arguments of ike_derived_keys() hook

This now includes all key material derived for IKE_SAs in the order
defined in the RFC:

  {SK_d | SK_ai | SK_ar | SK_ei | SK_er | SK_pi | SK_pr}
               = prf+ (SKEYSEED, Ni | Nr | SPIi | SPIr)

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

Version bump to 5.9.3dr3

ikev1: Fix flags so NAT Vendor IDs are sent again

Fixes: 6c49ddfbca72 ("ike: Add additional Vendor IDs for third-party implementations")

testing: Added openssl-ikev2/net2net-sha3-rsa-cert scenario

openssl: Support SHA-3 based RSA_EMSA_PKCS1 signatures

testing: Test wolfssl plugin

wolfssl: Full support of SHA3 signatures

credential_factory: Store name of plugin registering a builder

wolfssl: Set RSA key type

ccm: Destroy IV generator on crypter creation failure

Closes strongswan/strongswan#343.

dhcp: Log MAC address when sending DISCOVER message

Closes strongswan/strongswan#239.

ike: Add additional Vendor IDs for third-party implementations

For some that are followed by unknown data (e.g. detailed version
information) we only do a prefix match.

Co-authored-by: Tobias Brunner <tobias@strongswan.org>
Closes strongswan/strongswan#393.

Version bump to 5.9.3dr2

testing: Reorganizing IKEv1 and IKEv2 examples

For documentation purposes the new folders ikev1-algs, ikev2-algs,
ikev1-multi-ca and ikev2-multi-ca have been created. Most of the
test cases have now been converted to the vici interface. The
remaining legacy stroke scenarios yet to be converted have been put
into the ikev2-stroke-bye folder.

For documentation purposes some legacy stroke scenarios will be kept
in the ikev1-stroke, ikev2-stroke and ipv6-stroke folders.

notify-payload: Update reference for notify types for PPKs

draft-ietf-ipsecme-qr-ikev2 was released as RFC 8784 in June of 2020.

Don't report current text in parser error messages

The values of `yytext` and `yyleng` might not be properly defined when
the error function is called (in particular if the lexer reached EOF).
While this might just cause non-printable characters in the output, it
could actually lead to a crash depending on where `yytext` points.

Closes strongswan/strongswan#346.

testing: Replace kvm with qemu-system-x86_64

It might not exist on all platforms and according to the man page:

  The kvm wrapper script is used to provide compatibility with old
  qemu-kvm package which has been merged into qemu as of version 1.3.

  The script executes
    qemu-system-x86_64 -enable-kvm
  passing all other command-line arguments to the qemu binary.

Closes strongswan/strongswan#385.

testing: Use host-passthrough CPU mode for all KVM guests

This should give us the best performance and feature set on modern
hardware (in particular when compared to code2duo, which e.g. does not allow
nested virtualization).

Closes strongswan/strongswan#340.

Use Botan 2.18.0 for tests

openssl: Consider authorityKeyIdentifier in issued_by()

Prior to verifying the cryptographic signature, check if the
authorityKeyIdentifier matches the key ID of the issuing certificate if
it is available.

x509: Consider authorityKeyIdentifier in issued_by()

Prior to verifying the cryptographic signature, check if the
authorityKeyIdentifier matches the key ID of the issuing certificate if
it is available.

openssl: Bring CRL issued_by() in line with x509 plugin

ike: Set DCSP on keepalive packets

openssl: Add support for AES in CCM mode

While CCM is available in earlier versions, we only use it with
OpenSSL 1.1.0 and newer because the generic control variables are not
available before and we default to GCM for them.

Closes strongswan/strongswan#353.

testing: Make sure $SHAREDDIR exists before mounting it

Closes strongswan/strongswan#344.

github: Fix python build and checks on older Ubuntu releases

On 18.04, setuptools was apparently pulled in by python-pip but is not
by python3-pip and on Ubuntu 16.04 there is an issue with tox when
installed via pip3 (syntax error in one of the dependencies) and with
pip that dependency is not even available.

wolfssl: Properly handle failure to initialize SHAKE_256

github: Don't fail LGTM test with an error if variables are missing

That's because forks are currently not allowed to be analyzed by LGTM (unlike
with SonarCloud) so this check can't actually be successful for forks even if
variables are defined.

References strongswan/strongswan#328.

github: Fail LGTM test if required environment variables aren't set

Closes strongswan/strongswan#328.

github: Make LGTM project ID configurable via environment variable

github: Fail sonarcloud test if required environment variables aren't set

Closes strongswan/strongswan#330.

github: Always upload lint results from Android build

github: Fix build on Ubuntu 20.04 and add a job for 18.04

The nm test can only be done on Ubuntu 18.04 as the required libraries
are not available on newer systems.

Switch to pip3 to install tox (the only Python dependency we use).

Closes strongswan/strongswan#327.

github: Fix installation of Python dependencies

android: Avoid lint errors when determining column indices

The lint version used on our GitHub build hosts reported these errors:

Error: Value must be ≥ 0 [Range]
        db.update(TABLE_VPNPROFILE, values, KEY_ID + " = " + cursor.getLong(cursor.getColumnIndex(KEY_ID)), null);

That's because get*() expect a valid index >= 0 but getColumnIndex()
can return -1 if the column name doesn't exist.

backtrace: The BFD API changed in newer versions

openssl: Fix OpenSSL version check for EC_POINT_set_affine_coordinates

Fixes: bd323ae6c832 ("openssl: Migrate from deprecated EC_POINT_[set|get]_affine_coordinates_GFp() functions")
Closes strongswan/strongswan#332

forecast: Restrict strncpy() call

Closes strongswan/strongswan#331.

Merge branch 'doxygen-fixes'

Closes strongswan/strongswan#326.

Doxyfile.in: Remove deprecated variables

doxygen: Fix documentation problems

Version bump to 5.9.3dr1

testing: Migrated p2pnat/medsrv-psk scenario to vici

testing: Migrated p2pnat/behind-same-nat scenario to vici

testing: Store mars credentials in the swanctl directory

testing: Migrated redirect-active scenario to vici

testing: Migrated ha/both-active scenario to vici

testing: Migrated ha/active-passive scenario to vici

testing: Switched PTS measurements to /usr/sbin

Due to Debian 10 linking /bin to /usr/bin which drastically
increased the number of files in /bin, the PTS measurement
was switched to /usr/sbin with a lesser number of files.