host-resolver: Do not cancel threads waiting for new queries during cleanup

While it is currently unclear why it happens, canceling threads waiting in the
new_query condvar does not work as expected. The behavior is not fully
reproducible: Either cancel(), join() or destroying the condvar hangs.

The issue has been seen in the http-fetcher unit tests, where the stream service
triggers the use of the resolver for "localhost" hosts. It is reproducible with
any cleanup following a host_create_from_dns() use on a Ubuntu 14.04 x64 system.
Further, the issue is related to the use of libunwind, as only builds with
--enable-unwind-backtraces are affected.

As we broadcast() the new_query condvar before destruction, a hard cancel() of
these threads is actually not required. Instead we let these threads clean up
themselves after receiving the condvar signal.

host-resolver: Disable resolver thread cancellation by default

The default of new threads is cancellable, but the host-resolver thread code
clearly expects the opposite.

unit-tests: Add host_create_from_dns() test cases resolving "localhost"

travis: Disable forecast/connmark plugins in monolithic builds

Ubuntu 12.04 does not seem to provide a sane pkg-config for libiptc or libip4tc.
The monolithic build fails due to missing symbols, so disable it until we have
a newer Ubuntu release.

plugin-loader: Do not unload libraries during dlclose(), if supported

Unloading libraries calls any library constructor/destructor functions. Some
libraries can't handle that in our excessive unit test use. GnuTLS leaks
a /dev/urandom file descriptor, letting unit tests fail with arbitrary
out-of-resources errors.

unit-tests: Accept numerical protocol/port numbers in traffic selector tests

forecast: Explicitly cast sockaddr to fix compiler warning

On Travis we compile with -Werror.

configure: Use pkg-config to detect libiptc used by connmark/forecast

This ensures the library is available.  On Debian/Ubuntu it is a dynamic
library provided by the iptables-dev package.

openssl: Return the proper IV length for OpenSSL crypters

For instance, the NULL cipher has a block size of 1 but an IV length
of 0.

Fixes #854.

Merge branch 'forecast'

Implement a forecast plugin that supports forwarding of multi- and broadcast
messages between a LAN and clients or between connected clients. It uses
IPsec policy marks to send packets over multiple identical multi- and broadcast
policies.

NEWS: Introduce forecast multicast/broadcast forwarding plugin

testing: Add a forecast test case

testing: Build forecast plugin

forecast: Document strongswan.conf options

forecast: Add the broadcast/multicast forwarding plugin called forecast

Merge branch 'connmark'

Introduce a connmark plugin that uses Netfilter conntracks mark to select the
correct return-path SAs for client-initiated connections. This can be used
to distinguish transport mode clients behind the same NAT router.

Fixes #365.

NEWS: Introduce connmark plugin

testing: Add a connmark plugin test

In this test two hosts establish a transport mode connection from behind
moon. sun uses the connmark plugin to distinguish the flows.

This is an example that shows how one can terminate L2TP/IPsec connections
from two hosts behind the same NAT. For simplification of the test, we use
an SSH connection instead, but this works for any connection initiated flow
that conntrack can track.

testing: Build strongSwan with the connmark plugin

testing: Install iptables-dev to guest images

travis: Install iptables-dev for connmark plugin in "all" tests

ipsec-types: Support the %unique mark value

connmark: Add CONNMARK rules to select correct output SA based on conntrack

Currently supports transport mode connections using IPv4 only, and requires
a unique mark configured on the connection.

To select the correct outbound SA when multiple connections match (i.e.
multiple peers connected from the same IP address / NAT router) marks must be
configured. This mark should usually be unique, which can be configured in
ipsec.conf using mark=0xffffffff.

The plugin inserts CONNMARK netfilter target rules: Any peer-initiated flow
is tagged with the assigned mark as connmark. On the return path, the mark
gets restored from the conntrack entry to select the correct outbound SA.

bus: Add an ike_update() hook invoked when peer endpoints change

connmark: Add a plugin stub

load-tester: Support initiating XAuth authentication

As with other configuration backends, XAuth is activated with a two round
client authentication using pubkey and xauth. In load-tester, this is configured
with initiator_auth=pubkey|xauth.

Fixes #835.

Merge branch 'make-before-break'

Introduce an alternative make-before-break reauthentication scheme in addition
to the traditional break-before-make.

NEWS: Introduce make-before-break reauthentication

testing: Update description and test evaluation of host2host-transport-nat

As we now reuse the reqid for identical SAs, the behavior changes for
transport connections to multiple peers behind the same NAT. Instead of
rejecting the SA, we now have two valid SAs active. For the reverse path,
however, sun sends traffic always over the newer SA, resembling the behavior
before we introduced explicit SA conflicts for different reqids.

testing: Be a little more flexible in testing for established CHILD_SA modes

As we now print the reqid parameter in the CHILD_SA details, adapt the grep
to still match the CHILD_SA mode and protocol.

testing: Add a test scenario for make-before-break reauth using a virtual IP

testing: Add a test scenario for make-before-break reauth without a virtual IP

mem-pool: Pass the remote IKE address, to re-acquire() an address during reauth

With make-before-break IKEv2 re-authentication, virtual IP addresses must be
assigned overlapping to the same peer. With the remote IKE address, the backend
can detect re-authentication attempts by comparing the remote host address and
port. This allows proper reassignment of the virtual IP if it is re-requested.

This change removes the mem-pool.reassign_online option, as it is obsolete now.
IPs get automatically reassigned if a peer re-requests the same address, and
additionally connects from the same address and port.

ikev2: Schedule a make-before-break completion task to delete old IKE_SA

ikev2: Allow task to skip exchange by setting undefined exchange type

ikev2: Trigger make-before-break reauthentication instead of reauth task

Merge branch 'attr-migrate'

Migrates the attribute framework and associated plugins from libhydra back
to libcharon. libcharon is the only user of this framework since pluto is gone.
With these changes, we can pass the full IKE_SA state to attribute providers
and handlers, bringing more flexibility to these plugins.

ike-sa-manager: Use IKEv1 uniqueness reauthentication detection for IKEv2, too

attribute-handler: Pass full IKE_SA to handler backends

attribute-provider: Pass full IKE_SA to provider backends

attribute-manager: Pass full IKE_SA to handler methods

attribute-manager: Pass the full IKE_SA to provider methods

unit-tester: Drop the old unit-tester libcharon plugin

While it has some tests that we don't directly cover with the new unit tests,
most of them require special infrastructure and therefore have not been used
for a long time.

attributes: Move the configuration attributes framework to libcharon

libcharon: Add a test runner

attr-sql: Move plugin to libcharon

Merge branch 'tkm-reqid-alloc'

Fixes expires raised by charon-tkm to actually use a proto/dst/SPI tuple to
identify CHILD_SAs.

attr: Move plugin to libcharon

testing: Add tkm xfrmproxy-expire test

This test asserts that the handling of XFRM expire messages from the
kernel are handled correctly by the xfrm-proxy and the Esa Event Service
(EES) in charon-tkm.

resolve: Move plugin back to libcharon

Since pluto is gone, all existing users build upon libcharon.

testing: Assert ees acquire messages in xfrmproxy tests

charon-tkm: Use get_dst_host getter in EES callback

Use the new get_dst_host getter to retrieve the destination host from
the SAD using the reqid, spi and protocol values received from the
xfrm-proxy.

charon-tkm: Add get_dst_host getter to SAD

This function returns the destination host of an SAD entry for given
reqid, spi and protocol arguments or NULL if not found.

charon-tkm: Improve SAD get_esa_id log messages

charon-tkm: Store reqid in SAD

charon-tkm: Store remote SPI in SAD

Store the remote instead of the local SPI in the SAD when adding a new
entry in the kernel plugin's add_sa() function.

Since only one ESA context must be destroyed for an inbound/outbound
CHILD SA pair, it does not matter which SPI is used to retrieve it in
the del_sa function.

charon-tkm: Make CHILD/ESP SA database public

Make the CHILD/ESP SA database a public member of the global tkm_t
struct.

Merge branch 'reqid-alloc'

With these changes, charon dynamically allocates reqids for CHILD_SAs. This
allows the reuse of reqids for identical policies, and basically allows multiple
CHILD_SAs with the same selectors. As reqids do not uniquely define a CHILD_SA,
a new unique identifier for CHILD_SAs is introduced, and the kernel backends
use a proto/dst/SPI tuple to identify CHILD_SAs.

charon-tkm is not yet updated and expires are actually broken with this merge.
As some significant refactorings are required, this is fixed using a separate
merge.

References #422, #431, #463.

charon-tkm: Fix logger entity name in tests.c

Change 'test_runner' to 'test-runner'.

ike: Consistently log CHILD_SAs with their unique_id instead of their reqid

testing: Assert proper ESA deletion

Extend the tkm/host2host-initiator testcase by asserting proper ESA
deletion after connection shutdown.

unity: Reference IKE_SAs by the IKEv1 COOKIEs, improving lookup performance

When handling thousands of IKE_SAs, the unique ID based lookup is rather slow,
as we have no indexing.

ike-sa-manager: Remove IKE_SA checkout by CHILD_SA reqid

migrate-job: Do CHILD_SA reqid lookup locally

kernel-interface: Raise mapping event with a proto/SPI/dst tuple

inactivity-job: Schedule job by CHILD_SA unique ID instead of reqid

charon-tkm: Fix compilation of ees_callback.c

Update the call to hydra->kernel_interface->expire to make
ees_callback.c compile again. The required destination host argument is
set to NULL for now.

kernel-interface: Raise expires with a proto/SPI/dst tuple instead of reqid

controller: Use the CHILD_SA unique_id to terminate CHILD_SAs

swanctl: List CHILD_SA unique ID as the primary identifier, but print reqid, too

stroke: List CHILD_SA unique ID as the primary identifier, but print reqid, too

vici: Include the CHILD_SA unique ID in list-sa event

ike: Maintain per-IKE_SA CHILD_SAs in the global CHILD_SA manager

child-sa-manager: Add a global manager storing CHILD_SA relations

To quickly check out IKE_SAs and find associated CHILD_SAs, the
child_sa_manager stores relations between CHILD_SAs and IKE_SAs. It provides
CHILD_SA specific IKE_SA checkout functions wrapping the ike_sa_manager.

child-sa: Replace reqid based marks by "unique" marks

As we now use the same reqid for multiple CHILD_SAs with the same selectors,
having marks based on the reqid makes not that much sense anymore. Instead we
use unique marks that use a custom identifier. This identifier is reused during
rekeying, keeping the marks constant for any rule relying on it (for example
installed by updown).

This also simplifies handling of reqid allocation, as we do not have to query
the marks that is not yet assigned for an unknown reqid.

child-sa: Introduce a unique CHILD_SA identifier

As the reqid is not that unique even among multiple IKE_SAs anymore, we need
an identifier to uniquely identify a specific CHILD_SA instance.

child-sa: Delegate reqid allocation to the kernel interface

kernel-interface: Add reqid allocation and release functions

To reassign reqids where appropriate, we explicitly allocate or confirm them
centrally on the kernel-interface.

Currently the state is stored in the kernel-interface wrapper for all
backends, but we may add appropriate methods to each backend to implement
a custom reqid allocation logic, if required.

traffic-selector: Add a hash() method

child-sa: Sort traffic selectors after adding CHILD_SA policies

Having traffic selectors sorted properly makes comparing them much simpler.

unit-tests: Add an initial set of traffic selector unit tests

traffic-selector: Add a compare function to sort traffic selectors

child-sa: Remove the obsolete update logic

The kernel backend uses an inbound parameter these days, where it makes
no sense to pass the update flag. The kernel backend decides itself how
it handles SA installation based on the inbound flag.

kernel-interface: Pass full list of traffic selectors to add_sa()

While we can handle the first selector only in BEET mode in kernel-netlink,
passing the full list gives the backend more flexibility how to handle this
information.

libipsec: Remove unused src/dst_ts parameters from ipsec_sa_mgr_t.add_sa()

kernel-pfkey: Don't update during add_sa(), but delete SPI allocation state

kernel-interface: Remove reqid parameter from get_spi/get_cpi() methods

The reqid is not strictly required, as we set the reqid with the update
call when installing the negotiated SA.

If we don't need a reqid at this stage, we can later allocate the reqid in
the kernel backend once the SA parameters have been fully negotaited. This
allows us to assign the same reqid for the same selectors to avoid conflicts
on backends this is necessary.

libipsec: Remove unused reqid parameter from ipsec_sa_mgr_t.get_spi()

libtls: Don't send TLS close notifies in EAP after application succeeds

With the introduction of PT-TLS, we started sending TLS close notifies after
the application layer completes (7bbf7aa9). While this makes sense for TCP based
transports, it is not required in EAP methods. In EAP, handshake completion
can be directly signaled using the outer EAP-SUCCESS message. This also saves
one round-trip in the EAP exchange.

Windows 7/8 does not seem to like TLS close notifies at all in EAP, and either
stalls (EAP-TTLS) or disconnects (PEAP).

Fixes #556.

ha: Perform child rekeying outside of CHILD_SA enumerator

When rekey_child_sa is called while enumerating the children of an IKE_SA, and
the child to be rekeyed is redundant a QUICK_DELETE task is queued instead of a
QUICK_MODE task. This alters the IKE_SA's list of children (ike_sa_t::child_sas)
invalidating the current element of the child_sa_enumerator. The enumerate
function of linked_list_t will then advance to an element with unpredictable
contents most likely resulting in an segmentation violation. A similar behavior
should be observed when delete_child_sa is called.

This patch creates a list of protocol/spi values while holding the
child_sa_enumerator and performs the rekeying (deletion of redundant) chlidren
after releasing the enumerator.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

mem-pool: Document reassign_online option

man: Document IKEv2 fragmentation in ipsec.conf(5)

configure: Load SQL backends after crypto plugins

If the MySQL client library is linked against OpenSSL the mysql plugin
will cause a segmentation fault when it is unloaded after the openssl
plugin has already been deinitialized.  This is very similar to the issues
with curl (see 44b6a34d438f).

Fixes #814.

stroke: Double the stroke message string buffer size

starter: Fail sending stroke message if a string exceeds the buffer size

Instead of silently setting the string value to NULL, we fail completely in
sending the message to notify the user.

Fixes #844.

x509: Fix public key reference leak if authority key identifier does not match

vici: Fix ruby gem author email

trusted_enumerate requires an additional argument

vici: Fix README example encoding element type values, off by one

While we fixed the wrong values in the description with d39e04b5, the example
values are still off by one.

Fixes #828.

libtls: Check for CHANGE_CIPHER_SPEC type only if upper layer returns NEED_MORE

A type is returned only if upper layers successfully created a record, that is
returns NEED_MORE. If we do not check for the return value, we might check a
previous record or the uninitialized type variable and falsely reset the
sequence number.