watcher: release threads waiting in remove() when watcher thread gets cancelled

During daemon shutdown, users might call remove() after processor.set_threads(0)
has been called. This gets problematic, as a watch event might be unable
to signal completion when no threads are available anymore. Work around this
issue by cancelling waiters once processor.cancel() has been called.

stream: support keeping the service alive outside of service callback

stream: add read/write_all() methods to stream

stream: support cancellation of stream service callback

stream: use a service constructor to create services

It does not make much sense to reference running services in the manager,
especially as unregistration would need the URI (which a user would have to
store instead of the service reference).

stream: replace print/vprint() convenience functions by a FILE* getter

While this will complicate the implementation of streams not based on a fd,
it allows us to unleash the full power of FILE based convenience functions.

stream: add a concurrency option to services, limiting parallel callbacks

stream: add a job priority option to stream services

stream: add backlog option to stream services, forward to listen()

stream: add support for TCP stream services

stream: add support for TCP streams

stream: add support for UNIX stream services

stream: add support for UNIX streams

stream: support async operation using watcher

stream: add printf()-style covenience functions

stream: create library instance of stream-manager

stream: add a manager to dynamically register streams and services

stream: add a stream service class abstracting services using BSD sockets

stream: add a stream class abstracting BSD sockets

Currently only synchronous operation is supported, but this will be extended
with asynchronous methods using the new watcher.

watcher: add a centralized an generic facility to monitor file descriptors

kernel-pfkey: Fail route installation if remote TS matches peer

kernel-libipsec: Fail route installation if remote TS matches peer

capabilities: Some plugins don't actually require capabilities at runtime

capabilities: Add function to check if a capability is held, without keeping it

This can be useful if capabilities are not required anymore after
dropping privileges.

NEWS: leak-detective improvements

NEWS: add keychain plugin

autoconf: replace autogen.sh custom script with a call to autoreconf -i

automake: replace INCLUDES by AM_CPPFLAGS

INCLUDES are now deprecated and throw warnings when using automake 1.13.
We now also differentiate AM_CPPFLAGS and AM_CFLAGS, where includes and
defines are passed to AM_CPPFLAGS only.

autoconf: rename configure.in to configure.ac

configure.ac has been the recommended name for autoconf input for several
years now. Newer autotools start to complain about the configure.in, so we
finally change it.

eap-sim-pcsc: fix compiler warning

nm: omit deprecated g_type_init() when using >= GLIB 2.36

soup: omit deprecated g_type_init() when using >= GLIB 2.36

libfast: cancel thread if it fails to accept fcgi sessions

libfast: add a fast_ prefix to all classes, avoiding namespace clashes

Merge branch 'charon-xpc'

Implement a charon daemon controlled by the Apple specific XPC mechanism,
acting as a backend for a yet to build unprivileged GUI. The keychain plugin
coming with this merge provides certificates from the OS X keychain service.

xpc: allow easy copy & pase of ./configure instructions

xpc: use -idirafter to build against openssl headers from /usr/include

xpc: forward some risen alerts over XPC to App

xpc: enable close_ike_on_child_failure

xpc: send a "connecting" event when establishing a connection starts

xpc: use osx-attr plugin to install configuration attributes

xpc: update README with new events, markdown style fixes

xpc: send child_updown events over XPC channel

xpc: support termination of IKE_SAs using XPC RPC on connection channel

xpc: move XPC RPC reply creation to command dispatching

xpc: terminate daemon when last XPC connection to App gone

xpc: fix some refcounting issues related to XPC connections

xpc: no need to clear channel table, they are bound to IKE_SA lifetime

xpc: add support for logging over XPC channels

xpc: don't warn about pointer signedness mismatch (-Wno-pointer-sign)

xpc: add a description of the basic XPC protocol to README

xpc: use the same XPC message "type" mechanism on Mach service as on channels

xpc: ask App for passwords using connection specific channel

xpc: use IKE_SA specific XPC return channels for further communication

xpc: don't send certificate requests, there are too many when using keychain

xpc: build with support for the keychain plugin

xpc: add support for initiate simple IKEv2 EAP connections

xpc: move dispatching to dedicated class, using dedicated thread

xpc: use non-inlining variant of vstr, compiler does not like it

xpc: add Xcode project for a charon controlled through XPC

syslog: setlogmask() to include LOG_INFO

LOG_INFO seems to be excluded by default on some systems (OS X).

keychain: flush certificate cache after reloading System keychain

keychain: monitor changes in the system keychain, reload when necessary

keychain: use SearchCopyNext keychain enumeration for System certs as well

SecItemCopyMatching seems to be problematic regarding memory management. And
as there does not seem to be a good alternative to enumerate the System Roots
keychain using the SecItemCopyMatching API, we stick to the deprecated
enumeration functions for now.

keychain: load certificates from System Roots Keychain

keychain: load certificates only once during startup, improving performance

keychain: support on-the-fly enumeration of trusted/untrusted certificates

keychain: add a stub for a credential plugin using OS X Keychain Services

credmgr: stop querying for secrets once we get a perfect match

credmgr: don't use pointers for id_match_t enum values

openssl: parse X.509 extended key usage from extension parsing loop

Otherwise parsing gets aborted if unknown critical extensions are handled as
error.

openssl: show which critical X.509 extension is not supported

hashtable: add common hashtable hash/equals functions for pointer/string keys

thread: implicitly create thread_t if an external thread calls thread_current()

ike: Fix reestablishing SAs if no child-creating tasks are queued

ike-sa: uninstall CHILD_SAs before removing virtual IPs

a3854d83 changed cleanup order. But we should remove CHILD_SAs first, as routes
for CHILD_SAs might get deleted while removing virtual IPs, resulting in
an error when a CHILD_SA tries to uninstall its route.

unity: Replicate default behavior if no UNITY_SPLIT_INCLUDE attributes were received

unity: Allow UNITY_LOCAL_LAN to be longer than 8 bytes

unity: Fix memory leak in provider

ipsec.conf.5: closeaction is now supported for IKEv1

ikev1: Reestablish IKE_SA/CHILD_SAs if it gets deleted by the peer

We call ike_sa_t.reestablish() so the IKE_SA is only recreated if any
CHILD_SA requires it.

ike: Migrate queued CHILD_SA-creating tasks when reestablishing an IKE_SA

ikev1: Support closeaction of CHILD_SA.

When a CHILD_SA is closed in IKEv1, if it is not being rekeyed and
closeaction has been set, we can now perform a restart or hold as is
currently done for IKEv2.

Merge branch 'kernel-pfroute-mobility'

This improves the behavior of the kernel-pfroute plugin (and sometimes
the kernel-pfkey plugin) in case of mobility, mostly when used as as
client but also as gateway, if clients are mobile.

kernel-pfroute: Ignore IP address changes if address is %any

kernel-pfroute: Properly enumerate sockaddrs in interface messages

The ifa_msghdr and rt_msghdr structs are not compatible (at least not on
FreeBSD).

kernel-pfroute: Provide name of interfaces on which virtual IPs are installed

kernel-pfroute: Ignore virtual IPs in address map

As the virtual flag is set after the address has been added to the map,
we make sure we ignore virtual IPs when doing lookups.

kernel-pfroute: Make sure source addresses are not virtual and usable

It seems we sometimes get the virtual IP as source (with
rightsubnet=0.0.0.0/0) even if the exclude route is already
installed.  Might be a timing issue because shortly afterwards the
lookup seems to succeed.

kernel-pfroute: Don't report an error when trying to reinstall a route

kernel-pfkey: Provide interface name when installing exclude route

kernel-pfroute: Reinstall routes on interface/address changes

kernel-pfroute: Trigger a roam event if a new interface appears

kernel-pfroute: Use ref_get() to allocate sequence numbers

kernel-pfroute: Make time that is waited for VIPs to appear configurable

One second might be too short for IPs to appear/disappear, especially on
virtualized hosts.

kernel-pfroute: Retry route lookup without source address on failure

The known source address might be gone resulting in an error, making
learning a new source address impossible.

kernel-pfkey: Remove latest IPsec SA mapping when deleting a policy

If IPsec SAs are rekeyed due to an address change (e.g. because
update_sa is not supported) the exact same policy with the same reqid
will be installed, but with different addresses.  After the rekeying the
old SA and its policies are removed, using the first matching mapping
breaks the mapping between the policies and the new SA (at least on
FreeBSD, the Linux kernel might only use the reqid for this).  Using the
oldest matching SA is still an approximation but it solves the above
issue.

kernel-pfkey: Correctly handle IPSEC_PROTO_ANY in an acquire

linked-list: Remove barely used has_more() method

This required some refactoring when handling encrypted payloads.

Also changed log messages so that "encrypted payload" is logged instead
of "encryption payload" (even if we internally still call it that) as
that's the name used in RFC 5996.

linked-list: Don't require an argument for the item when enumerating