WIP

We could extend the expire event so it includes the last usage values of
the expired SA.  One issue with that is that we only get one direction,
so we'd have to query the other direction before we delete the SA (there
could be a race if it expired shortly after the first one -  we could
increase the lifetime of one direction a bit, though, so we would have
enough time for this).  Also, we currently don't cache usage data on the
child_sa_t object, which we had to do to report the final numbers via
get_usestats().  And we'd also need to actually trigger child_updown
for such SAs even after they were rekeyed (not possible for IKEv2 at
the moment).  This may all be a bit overkill as for the general use case
this should not be an issue.

Basically, if the other peer uses an SA after it got rekeyed the usage
numbers won't be accurate. That is, all data transmitted since the last
update before expiration won't be accounted for (child_rekey, or interim
update - so this is less of an issue with interim updates, or with
relatively short rekeymargin). The peer will also only be able to send
data on the inbound SA (from the server's point of view), as the server
will always use the latest outbound SA.  But the same problem occurs if
no rekeying is used, as in that case SAs will simply expire at some point
and no current data can be queried anymore (but I guess that's a rather
unusual use case).

Merge branch 'accounting-fixes'

This fixes the usage stats reported via RADIUS Accounting in several
corner cases (e.g. with interim updates while rekeying a CHILD_SA).

Fixes #891.

libipsec: Insert SAs first, so latest SA with the same reqid gets used

This was useful for testing purposes of RADIUS accounting, but OS kernels
generally will use the latest SA, so we do the same.

eap-radius: Keep track of stats for SAs migrated during IKEv1 reauthentication

ikev1: Trigger children_migrate event if CHILD_SAs are adopted

bus: Add new hook called when IKEv1 CHILD_SAs are migrated to a new IKE_SA

The interface is currently not very nice, but if we ever were able to
safely checkout multiple SAs concurrently we could add something similar
to ike_rekey() and call that when we detect a reauthentication.

eap-radius: Remove cache entries for expired SAs during ike/child_rekey

eap-radius: Add cache for usage stats of expired/rekeyed SAs

There are several situations that the previous code didn't handle that
well, for example, interim updates during rekeying (until the rekeyed SA
was deleted the numbers were too high, then suddenly dropped afterwards),
or rekeying for IKEv1 in general because rekeyed IPsec SAs stay installed
until they expire (so if they were still around when the IKE_SA was
terminated, the reported numbers in the Stop message were too high).

If intermediate updates are not used the cache entries for rekeyed
CHILD_SA will accumulate, we can't clean them up as we don't get
child_updown() events for them.

libradius: Verify message ID of RADIUS responses

If we sent retransmits for a message and didn't receive a response it might
still arrive later.  Such a message will be queued on the socket.  The next
read will then return not the expected response but the one for the earlier
request.  For this message the verification will fail and the message gets
discarded.  But with the earlier code the actual response was never received.
Instead, a subsequent request resulted in the same failure and so on.

Fixes #838.

kernel-netlink: Ignore unusable routes

kernel-netlink: Make buffer size for received Netlink messages configurable

testing: Don't check parent dir (and subdirs) when downloading OpenSSL packages

Exempt ignored PA-TNC attributes from error handling

testing: Fix kernel download URL for kernel versions != 4.x

man: Clarification of ah keyword description

starter: Ensure the daemon executable exists when starting up

The only purpose of starter is to control the IKE daemon, so we
terminate it if the daemon executable is not found (e.g. because
DAEMON_NAME is incorrect).

This removes the charonstart setting (it was not actually configurable
anymore).

starter: Remove START_CHARON compile flag

Since the removal of pluto this is quite superfluous. The flag itself
might be useful to avoid starting charon if the executable does not
exist for some reason (e.g. if DAEMON_NAME is incorrect).

charon-nm: Disable leak-detective in charon-nm

It segfaults immediately if it is enabled, at least on Ubuntu 14.04.

testing: Fix URL to TNC@FHH project in scenario descriptions

testing: Update TKM assert strings

testing: Update alog to version 0.3.1

testing: Update tkm to version 0.1.2

testing: Update tkm-rpc to version 0.2

child-create: Destroy nonceg in migrate()

Since another nonce gets allocated later (if any was allocated already)
this would have resulted in a leaked nonce context ID when used in charon-tkm.

child-create: Fix error handling if nonceg can't be created

As with ike-init we can't return NULL in the task constructor.

ike-init: Fix error handling if nonceg can't be created

Returning FAILED in the constructor is wrong, but returning NULL doesn't work
either as it's currently assumed tasks always can be created.
Therefore, delay this check until we actually try to allocate a nonce.

ike-init: Fix compiler warning

swanctl: Fix --uri option

As we now pass the vici connection to the command dispatcher callback, we can't
parse the --uri option to create the connection from the same callback. Instead
pre-process the common command options in a separate loop, and ignore the same
options while processing the actual command.

Merge branch 'tkm-fixes'

This fixes several issues with charon-tkm (e.g. nonce context ID leaks during
rekey collisions).

charon-tkm: Also store local SPI in SAD

ike-init: Make nonceg a member of ike_init struct

This allows to control the life-cycle of a nonce in the context of the
ike init task. In the TKM use-case the nonce generator cannot be
destroyed before the ike init task is finalized, otherwise the created
nonce is detected as stale.

child-create: Make nonceg a member of child_create struct

This allows to control the life-cycle of a nonce in the context of the
child create task. In the TKM use-case, it is required to reset the
nonce context if the created nonce is not consumed. This happens if the
child SA negotiation fails and it is detected before the SA is
established via the TKM kernel plugin (i.e. rekey collision).

charon-tkm: Reset stale nonce contexts

If the nonce generator detects a stale nonce upon destroy(), it resets
the context in the TKM and releases associated resources in the ID
manager and chunk map.

Also, do not acquire the nonce context ID in tkm_nonceg_create function
but rather when the nonce is actually created by get_nonce().

The nonces created with get_nonce must also be registered in the chunk map.

charon-tkm: Drop unneeded nonceg get_id function

charon-tkm: Remove ESA nonce mappings from chunk map

charon-tkm: Drop obsolete TKM_LIMIT define

charon-tkm: Select other ESA if any is present upon deletion

In the case that multiple ESAs exist (e.g. rekey collision) for a
security policy, make sure to select one of the remaining ESAs.

charon-tkm: Add get_other_esa_id function to TKM kernel SAD

The function gets the ESA id for another entry associated with the same
security policy as the specified ESA.

charon-tkm: Only skip creation of first child SA

Use the new is_first boolean parameter of the
ALERT_KEEP_ON_CHILD_SA_FAILURE alert to determine if the failure was
caused by the first CHILD SA.

Add bool param to ALERT_KEEP_ON_CHILD_SA_FAILURE alert

The parameter indicates if the alert is raised upon failure to establish
the first CHILD SA of an IKE SA.

charon-tkm: Fix SAD insertion when adding ESA

Commit f5fc592 added the reqid to the SAD. The insert call swapped the
order of the esa_id and reqid parameters.

vici: Default to certificate subject for identity

If id is not specified and certificate authentication is used, use the
certificate subject name as identity. Simplifies configuration as in most cases
this is the right thing to do.

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

swanctl: Implement monitoring of IKE_SA and CHILD_SA changes

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

vici: Add support for ike_sa and child_sa updown notifications

Useful for monitoring and management purposes.

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

vici: Add function to test if an event should be generated

Useful to avoid generating vici messages if they are not needed and their
generation is heavy operation.

Signed-off-by: Timo Teräs <timo.teras@iki.fi>

swanctl: Add missing unit in install-time log

init: Don't build/install legacy systemd service if charon isn't built

If the user configures the build to only include charon-systemd the
"legacy" systemd service isn't useful, so skip its generation and
installation.

crypt-burn: free() associated data after test

testing: Updated carol's certificate from research CA and dave's certificate from sales CA

testing: Wait for DH crypto tests to complete

imv_policy_manager: Added capability to execute an allow or block shell command string

testing: Migration of KVM framework to Linux 4.x kernel

Version bump to 5.3.1dr1

Fixed PB-TNC directionality debug message

ike-vendor: Add some Microsoft vendor IDs

apidoc: Fix rebuild in out-of-tree builds

leak-detective: Use passed callback to report leaks

This prevented `stroke memusage` from reporting the leaks on the
console.  Instead, they were sent to the callbacks set up by libstrongswan.

Fixes a426851f6362 ("leak-detective: Use callback functions to report
leaks and usage information").

openssl: Don't refer to EVP_des_ecb() if OpenSSL is built without DES support

While DES-ECB is not registered by the plugin in this case (so the
function will never actually be called), the compiler still warns
about the implicitly declared function.

apidoc: Fix make target dependency find precedence

Merge branch 'utils-split'

Split up the almighty utils.[ch] to separate files in the utils/utils subfolder.
These are not meant to include manually, but bring back some order to all
this functionality included through utils.h.

Additionally give some love to apidoc generation.

apidoc: Conditionally run doxygen if any header/Markdown files have changed

apidoc: Set QUIET to YES, suppressing any parsing/generating status output

As WARNING messages still get printed, this makes spotting any warnings much
simpler.

apidoc: Enable documentation of static functions

As we scan for header files only, this does not affect any local functions,
but documents any static inlines we define in header files.

strerror: Move to its own Doxygen subgroup

utils: Clean up includes

align: Move min/max/padding/alignment functions to separate files

time: Move time related functions to separate files

object: Move OO programming helper macros to a separate header file

status: Move status_t type and functions to separate files

path: Move path related utility functions to separate files

tty: Move tty related functions to separate files

memory: Move memory manipulation related functions to separate files

string: Move string related utility functions to separate files

byteorder: Move byte order related functions to separate header file

types: Use generic type definitions to separate header file

atomics: Move atomics/recounting support to separate files

unit-tests: Further increase the test vector testing timeout

Some build bots running make check seem to have longer for the DH testing.

test-vectors: Define test vector symbols as extern

We don't actually define a vector, but only prototype the test vector
implemented in a different file. GCC uses the correct symbol during testing,
but clang correctly complains about duplicated symbols during linking.

Fix years in some copyright statements

aesni: Fix doxygen groups

Merge branch 'dh-test-vectors'

Add a Diffie-Hellman backend test method, a set of test vectors and implement
testing of the gmp, openssl and gcrypt DH backend.

kernel-netlink: Don't mangle verbosity during test initialization

We now properly manage thread verbosity in the test framework, and don't need
to silence thread spawning messages.

unit-tests: Set test verbosity just after test suite loading

We see any plugin startup messages during suite configuration, where
initialization is called once to query plugin features. No need to be verbose
and show these messages once again in the first test.

crypto-factory: Remove obsolete transform testing functions

unit-tests: Use progressive testing of transforms with test vectors

This allows us to show which transform from which plugin failed. Also, we use
the new cleanup handler functionality that allows proper deinitialization on
failure or timeout.

transform: Add a getter for the enum_names for a specific transform type

enum-names: Fail gracefully when passing a NULL value as enum names

crypto-factory: Add enumerator method to support individual transform testing

unit-tests: Invoke all registered thread cleanup handlers on test failure

If a test fails in a timeout or a test failure, longjmp() is used to restore
the thread context and handle test failure. However, there might be unreleased
resources, namely locks, which prevent the library to clean up properly after
finishing the test.

By using thread cleanup handlers, we can release any test subject internal or
test specific external resources on test failure. We do so by calling all
registered cleanup handlers.

thread: Add a function to pop and call all registered cleanup handlers

thread: Don't acquire lock for thread_cleanup_push/pop

This is called only by the thread for its own thread_t, and does not need
synchronization.

travis: Run a gcrypt test with leak-detective

And also enable gcrypt in the all tests with leak-detective enabled.

gcrypt: Explicitly initialize RNG backend to allocate static data

The libgcrypt RNG implementation uses static buffer allocation which it does
not free. There is no symbol we can catch in leak-detective, hence we explicitly
initialize the RNG during the whitelisted gcrypt_plugin_create() function.

leak-detective: Whitelist gcrypt_plugin_create()

gcry_check_version() does not free statically allocated resources. However,
we can't whitelist it in some versions, as it is not a resolvable symbol name.
Instead, whitelist our own plugin constructor function.

unit-tests: Add a TESTS_PLUGINS environment variable

This is often more convenient than specifying plugins in a configuration file.

unit-tests: Use a larger timeout for test vector testing

As we test DH calculations this now takes more time. If multiple DH backends
are enabled, we likely hit the default test timeout.

gcrypt: Support setting private value and testing of DH backend

openssl: Support setting ECDH private values

openssl: Support setting private Diffie-Hellman values

gmp: Support setting Diffie-Hellman private values