android: Define HAVE_DLADDR as plugin loader checks for it

android: Update Android.mk files to match changes due to the Windows port

Makes them easier to compare to the original Makefile.am.

charon: Set CLOEXEC flag on daemon PID file and /dev/(u)random source FDs

On Fedora, SELinux complains about these open file descriptors when the
updown script invokes iptables. While it seems difficult to set the flag
on all file descriptors, this at least fixes those covered by the SELinux
policy.

As these two cases are in code executed while the daemon is still single
threaded, we avoid the use of atomic but not fully portable fdopen("e") or
open(O_CLOEXEC) calls.

Fixes #519.

utils: Add wrappers for memcpy(3), memmove(3) and memset(3)

These wrappers guarantee that calls to these functions are noops if the
number of bytes is 0, as calling them with NULL pointers is undefined
according to the C standard, even if the number of bytes is 0 (most
implementations probably ignore the pointers anyway in this case, but
lets make sure).

pki: Also check for MAX_COMMANDS when building getopt_long arguments

Completes 87e53819a6 and 0a8c399a21.

Auxiliary swid_tagstats table boosts performance

Merge branch 'algorithm-order'

Restores the behavior we had before 2e22333fb (except for RNGs), that is,
algorithms are stored in the registration order again.  Which is not optimal
as we must rely on plugins to register them in a sensible order, but ordering
them by identifier definitely caused weaker algorithms to be proposed first
in the default proposal, which was even worse.

unit-tests: Add tests for DH factory

crypto-factory: Only sort RNGs by algorithm identifier

Others remain in the order in which they were added, grouped by
algorithm identifier and sorted by benchmarking speed, if provided.

unit-tests: Add test for crypto_factory_t's rng_create method

kernel-netlink: Install virtual IPv6 addresses as deprecated

This should prevent the kernel's IPv6 source address selection algorithm
from using this address unless it is forced to by our source route.
This is helpful if split tunneling is used.

Fixes #598.

vici: Install libvici in ipseclibdir like we do with other libraries

Merge branch 'shunt-policies-routes'

Fixes #599.

kernel-netlink: Pass prefix when looking up next hop for shunt policies

kernel-netlink: Add support for destination prefix when determining next hop

kernel-interface: Add destination prefix to get_nexthop()

This allows to determine the next hop to reach a subnet, for instance, when
installing routes for shunt policies.

Merge branch 'passthrough-policies-priority'

Introduces a new priority class for policies, which allows us to install
passthrough policies with a strictly higher priority than IPsec
policies, which was not the case previously depending on the traffic
selectors.

testing: Add ikev2/shunt-policies-nat-rw scenario

testing: Remove ikev2/shunt-policies scenario

This scenario doesn't really apply anymore (especially its use of drop
policies).

shunt-manager: Install passthrough policies with highest priority

This avoids conflicts with regular IPsec policies.

Similarly, use the lowest priority for drop policies.

libipsec: Add support for new policy priority class

kernel-pfkey: Add support for new policy priority class

kernel-netlink: Add support for new policy priority class

ipsec: Add a fourth priority class for bypass policies

Remove kernel-klips plugin

kernel-netlink: Follow RFC 6724 when selecting IPv6 source addresses

Instead of using the first address we find on an interface we should
consider properties like an address' scope or whether it is temporary
or public.

Fixes #543.

Merge branch 'ipsec.conf-parser'

Replaces the ipsec.conf parser in starter.  The new parser is also based
on flex/bison but it simply returns key/value collections of all sections.
It already resolves also= and allows overriding options in all included
sections (not only %default), options set in included section can also
be cleared again (key=).  It provides other improvements too, like quoted
strings (with escape sequences), unlimited includes and better
whitespace/comment handling.

Fixes #423.
Fixes #560.

starter: Don't directly refer to source files in Makefile for unit tests

Older versions of automake have trouble recursively cleaning such
constructs properly.

starter: Explicitly allow @# at the beginning of strings

Since we treat everything after # as comment identities of type
ID_KEY_ID couldn't be parsed otherwise, unless quoted.

starter: Add --conftest option to test ipsec.conf syntax

starter: Remove old parser

starter: Use new parser to read config file

starter: Move kw_entry_t definition

starter: Remove unused ARG_LST argument type

starter: Add tests for ipsec.conf parser

unit-tests: Make fixture functions optional

starter: Add new bison/flex based parser for ipsec.conf

The parser simply returns key/value pairs of all sections, it already
resolves also= and allows overriding options in all included sections
(not only %default), options set in included section can also be cleared
again (key=).
It provides other improvements too, like quoted strings (with escape
sequences), unlimited includes and better whitespace/comment handling.

starter: Remove out of date README

collections: Add interface for read-only dictionaries

hashtable: Add destroy_function method

stroke: Add --daemon option

starter: Use stream abstraction to communicate with stroke plugin

stroke: Use stream abstraction to communicate with stroke plugin

Without this changing charon.plugins.stroke.socket would not really
work.

winhttp: Fix a typo to properly release connection handle

Fixes a rather large memory leak in HTTP fetches.

load-tester: Add a crl option to include a CRL uri in generated certificates

bus: Properly va_copy() argument list before passing it to printf() functions

As we later potentially use args again, we can't consume it with printf
functions without copying it first. Clone list before passing it to any
consuming function.

Fixes #621.

child-sa: Set replay window on both inbound and outbound SA

While the outbound SA actually does not need a replay window, the kernel rejects
zero replay windows on SAs using ESN. The ESN flag is required to use the full
sequence number in ICV calculation, hence we set the replay window.

This restores the behavior we had before 30c009c2.

kernel-netlink: Never use XFRMA_REPLAY_ESN_VAL to configure zero replay windows

Trying to disable replay windows using the ESN attribute fails with EINVAL.
Use non-ESN legacy format to disable replay windows, even if ESN has been
negotiated over IKE.

Added swanctl/net2net-route scenario

Added swanctl/net2net-start scenario

Minor changes in swanctl scenarios

The policy_started check is not needed any more

Added swanctl --list-pols and swanctl --stats do scenario log

testing: Delete accidentally committed test cases

ikev1: Allow late connection switching based on XAuth username

identification: Only use either , or / to separate RDNs

If a DN starts with a slash (or whitespace and a slash) slashes will
be used, otherwise commas.

sshkey: Fix loading of ECDSA keys from files

sshkey: Add support to parse SSH public keys from files with left|rightsigkey

Merge branch 'vici-stats'

Add a vici/swanctl "stats" command to print daemon info, similar to the header
shown in "ipsec statusall".

vici: Support memory stats without leak-detective on Windows

swanctl: Add a --stats command to print daemon infos and statistics

vici: Add a stats command returning various daemon infos and statistics

swanctl: Support private key decryption passhprases in swanctl.conf

While there is no real security benefit of storing private keys encrypted if
the passphrase is stored along with it, there still seems to be demand for this
functionality. We add it for compatibility with ipsec.secrets, even if it is
not really recommended.

Merge branch 'conn-specific-replay'

Introduces a connection specific replay_window option, overriding the global
charon.replay_window strongswan.conf option. Original patch courtesy of
Zheng Zhong and Christophe Gouault from 6Wind.

NEWS: Mention replay_window ipsec.conf option

swanctl: Document replay_window option

vici: Support a replay_window CHILD_SA option

starter: Add a replay_window connection option

kernel-pfkey: Support connection specific replay window sizes up to 32 packets

kernel-netlink: Support connection specific replay window sizes

kernel-interface: Add a replay_window parameter to add_sa()

child-cfg: Store connection specific replay window on CHILD_SA config

Merge branch 'win-errno'

Improves errno handling for Winsock2 compatibility functions.

windows: Declare strerror_s()

Older MinGW versions seem to miss this function declaration. Fixes build on
Travis using Ubuntu 12.04.

windows: Extend strerror_r/s by extended POSIX errno strings

windows: Implement strerror_r using strerror_s

windows: Wrap most Winsock2 Posix functions to set errno

While Winsock provides many Posix compatibility functions, they do not set
errno, but use WSAGetLastError() for error reporting. The wrapped functions
derive an errno from WSAGetLastError() on failure.

watcher: Prevent race condition spawning multiple watcher threads

If file descriptors get added and removed in rapid succession, the active
watcher thread might not take notice of it and continues running. However, add()
spawns a watcher thread whenever a file descriptor is added to an empty set.
This could result in multiple watcher threads, which is fixed by a proper
check for running watchers.

thread-value: Defer cleanup handling to thread termination on Windows

Instead of cleaning up all thread-values during destruction, cleanup handler
is invoked when a thread detaches. Thread detaching is cough using the Windows
DllMain() entry point, and allows us to basically revert 204098a7.

Using this mechanism, we make sure that the cleanup handler is invoked by the
the correct thread. Further, this mechanism works for externally-spawned
threads which run outside of our thread_cb() routine, and works more efficiently
with short-running threads.

socket-win: Use non-overlapped I/O and socket event selection

The use of overlapped I/O was incorrect, as we passed stack based buffers, but
did not cancel/wait for pending completion on all sockets. Our receive-from-all
socket interface is actually tricky to implement using overlapped I/O. Switch
to WSAEventSelect() event management, which can be canceled properly while
working in a select()-like way.

Merge branch 'attr-enum'

Introduces a handle_vips() hook very similar to assign_vips(), but for clients
handling virtual IPs and other configuration attributes. Non-handled attributes
are stored on the IKE_SA as well and can be enumerated.

bus: Add a handle_vips() hook invoked after handling configuration attributes

Similar to assign_vips() used by a peer assigning virtual IPs to the other peer,
the handle_vips() hook gets invoked on a peers after receiving attributes. On
release of the same attributes the hook gets invoked again.

This is useful to inspect handled attributes, as the ike_updown() hook is
invoked after authentication, when attributes have not been handled yet.

ikev1: Invoke the assign_vips() bus hook for IKEv1 as well

ike: Create an enumerator for (un-)handled configuration attributes on IKE_SA

ike: Store unhandled attributes on IKE_SA as well

Version bump to 5.2.0rc1

Mentioned first six swanctl scenarios in NEWS

Added swanctl/rw-psk-fqdn and swanctl/rw-psk-ipv4 scenarios

Single-line --raw mode simplifies evaltest of swanctl scenarios

Split swanctl --raw mode into single-line and --pretty mode

Added swanctl/ip-pool-db scenario

Updated strongTNC configuration

Added swanctl/ip-pool scenario

Allow multiple hash values in the file reference database

Added swanctl/rw-cert scenario

Added Android 4.3 and 4.4.3 to imv database

Define default swanctl credentials in hosts directory

Added missing units (s = seconds)

Fixes in SWID entity support

Merge branch 'win-32bit'

Fixes some issues when building 32-bit Windows binaries. Mostly related
to the call API. Introduces a Travis 32-bit Windows build variant.