ike-sa-manager: Improve scalability of half-open IKE_SA checking

This patch is based on one by Christoph Gouault.

Currently, to count the total number of half_open IKE_SAs,
get_half_open_count sums up the count of each segment in the SA hash
table (acquiring a lock for each segment).  This procedure does not scale
well when the number of segments increases, as the method is called for
each new negotiation.

Instead, lets maintain a global atomic counter.

This optimization allows the use of big values for charon.ikesa_table_size
and charon.ikesa_table_segments.

utils: Use GCC's __atomic built-ins if available

These are available since GCC 4.7 and will eventually replace the __sync
operations.  They support the memory model defined by C++11. For instance,
by using __ATOMIC_RELAXED for some operations on the reference counters we
can avoid memory barriers, which are required by __sync operations (whose
memory model essentially is __ATOMIC_SEQ_CST).

utils: Add ref_cur() to retrieve the current value of a reference counter

On many architectures it is safe to read the value directly (those
using cache coherency protocols, and with atomic loads for 32-bit
values) but it is not if that's not the case or if we ever decide to
make refcount_t 64-bit (load not atomic on x86).

So make sure the operation is actually atomic and that users do not
have to care about the size of refcount_t.

testing: Added pfkey/compress test case

kernel-pfkey: Added IPComp support

- get_cpi function was implemented to retrieve a CPI from the kernel.
- add_sa/update_sa/del_sa were updated to accommodate for IPComp SA.
- Updated add_policy_internal to update the SPD to support IPComp.

packages: New Debian network-manager-strongswan release

packages: Hand over network-manager-strongswan debian package maintenance

packages: Use charon-nm in network-manager-strongswan debian package

nm: Bump NetworkManager plugin version to 1.3.1

pacman.sh now fetches Ubuntu 14.04 security updates

Merge branch 'reauth-collision'

Fixes two collisions between IKE_SA re-authentication and CHILD_SA rekeying.

ike: Delay actively initiated reauthentication when other exchanges in progress

If any other IKE or CHILD_SA operation takes places, we should not start
initiating reauthentication to avoid any potential races.

ikev2: Reject CHILD_SA creation/rekeying while deleting an IKE_SA

If one peer starts reauthentication by deleting the IKE_SA, while the other
starts CHILD_SA rekeying, we run in a race condition. To avoid it, temporarily
reject the rekey attempt while we are in the IKE_SA deleting state.

RFC 4306/5996 is not exactly clear about this collision, but it should be safe
to reject CHILD_SA rekeying during this stage, as the reauth will re-trigger the
CHILD_SA. For non-rekeying CHILD_SA creations, it's up to the peer to retry
establishing the CHILD_SA on the reauthenticated IKE_SA.

ikev2: Apply extensions and conditions before starting rekeying

The extensions and conditions apply to the rekeyed IKE_SA as well, so we should
migrate them. Especially when using algorithms from private space, we need
EXT_STRONGSWAN to properly select these algorithms during IKE rekeying.

ikev2: Add inherit_pre() to apply config and hosts before IKE_SA rekeying

ikev1: Add an option to accept unencrypted ID/HASH payloads

Even in Main Mode, some Sonicwall boxes seem to send ID/HASH payloads in
unencrypted form, probably to allow PSK lookup based on the ID payloads. We
by default reject that, but accept it if the
charon.accept_unencrypted_mainmode_messages option is set in strongswan.conf.

Initial patch courtesy of Paul Stewart.

ikev2: Fix reauthentication if peer assigns a different virtual IP

Before this change a reqid set on the create_child_t task was used as
indicator of the CHILD_SA being rekeyed.  Only if that was not the case
would the local traffic selector be changed to 0.0.0.0/0|::/0 (as we
don't know which virtual IP the gateway will eventually assign).
On the other hand, in case of a rekeying the VIP is expected to remain
the same, so the local TS would simply equal the VIP.

Since c949a4d5016e33c5 reauthenticated CHILD_SAs also have the reqid
set.  Which meant that the local TS would contain the previously
assigned VIP, basically rendering the gateway unable to assign a
different VIP to the client as the resulting TS would not match
the client's proposal anymore.

Fixes #553.

Added NEWS for 5.2.0dr1

Handle tag separators

Renewed expired user certificate

Updated SWID scenarios

swid_generator software-id does not generate empty lines any more

Added result information to TPMRA workitems

On the occasion got rid of complicated functional component stuff

Indicate IMV in assessment log statement

Implemented segmented SWID tag attributes on IMV side

Use python-based swidGenerator to generated SWID tags

Updated imv database templates

Optimized PTS measurements

Use cached pid for product-based package access

Make Attestation IMV independent of OS IMV

Separated IMV session management from IMV policy database

Renamed the AIK public key parameter to imc-attestation.aik_pubkey

Implemented configurable Device ID in OS IMC

Version bump to 5.2.0dr1

Version bump to 5.1.3

NEWS: Added info about CVE-2014-2338

ikev2: Reject CREATE_CHILD_SA exchange on unestablished IKE_SAs

Prevents a responder peer to trick us into established state by starting
IKE_SA rekeying before the IKE_SA has been authenticated during IKE_AUTH.

Fixes CVE-2014-2338.

eap-mschapv2: Fix potential leaks in case of invalid messages from servers

pts: Make sure the complete AIK blob has been read

attr: Don't shift the 32-bit netmask by 32

This is undefined behavior as per the C99 standard (sentence 1185):

 "If the value of the right operand is negative or is greater or equal
  to the width of the promoted left operand, the behavior is undefined."

Apparently shifts may be done modulo the width on some platforms so
a shift by 32 would not shift at all.

nm: Fix NULL-pointer dereference when handling TUN device failure

x509: Don't include authKeyIdentifier in self-signed certificates

As the comment indicates this was the intention in
d7be2906433a7dcfefc1fd732587865688dbfe1b all along.

x509: Initialize certs when building optionalSignature for OCSP requests

stroke: Fix memory leak when printing unknown AC group OIDs

pki: Fix memory leak when printing unknown AC group OIDs

pki: Removed extra continue statement

Added support for msSmartcardLogon EKU

Added some more OIDs

Initialize m1 to suppress compiler warning

Fixed another dirname/basename refactoring bug.

file was freed before use.

Fixed dirname/basename refactoring bug.

 Variables used in a database query have to be kept until the end of the enumeration

Added SHA3 OIDs

Fixed pretest script in tnc/tnccs-20-pt-tls scenario

ike-cfg: Properly compare IKE proposals for equality

leak-detective: LEAK_DETECTIVE_DISABLE completely disables LD

If lib->leak_detective is non-null some code parts (e.g. the plugin
loader) assume LD is actually used.

testing: Run 'conntrack -F' before all test scenarios

This prevents failures due to remaining conntrack entries.

unit-tests: Verify two bytes at once when testing chunk_clear()

This reduces the chances of arbitrary test failures if the memory area
already got overwritten.

Merge branch 'tls-unit-tests'

Add some initial unit-tests to libtls, testing all supported cipher suites
against self, both with and without client authentication, for all supported
TLS versions.

tls: Add a test case to check correct enum name mapping of cipher suites

tls: Add socket based tests testing all supported suites with TLS 1.2/1.1/1.0

tls: Remove superfluous initializers in TLS AEAD implementations

tls: Support a maximum TLS version to negotiate using TLS socket abstraction

tls: Support a null encryption flag on TLS socket abstraction

tls: Introduce a generic TLS purpose that accepts NULL encryption ciphers

tls: Export a function to list supported TLS cipher suites

tls: Create a unit-test runner

unit-tests: Catch timeouts during test runner deinit function

The test runner deinit function often cancels all threads from the pool. This
operation might hang on error conditions, hence we should include that hook in
the test timeout to fail properly.

unit-tests: Prevent a failing worker thread to go wild after it fails

A worker raises SIGUSR1 to inform the main thread that the test fails. The main
thread then starts cancelling workers, but the offending thread should be
terminated immediately to prevent it from test continuation.

Test TLS AEAD cipher suites

Added Ubuntu 14.04 to IMV database

Slightly edited evaltest of ikev2/ocsp-untrusted-cert scenario

unit-tests: Always load address of testable functions

The addresses can actually change as plugins are loaded/unloaded for
each test case.

Fixes #551.

settings: Reduce log verbosity if strongswan.conf does not exist

In some situations we expect strongswan.conf to not exist, for instance,
when running the unit tests before installation.

test-vectors: Renumber AES-GCM test vectors according to original source

Also adds several missing ones.

Merge branch 'tls-aead'

Adds AEAD support to the TLS stack, currently supporting AES-GCM. Brings fixes
for TLS record fragmentation, enforcing TLS versions < 1.2 and proper signature
scheme support indication.

NEWS: Note TLS AEAD mode

tls: Fix some TLS cipher suite enum names

It is important to have them mapped correctly, as we use these official TLS
identifiers to configure specific TLS suites.

tls: Include TLS version announced in Client Hello in encrypted premaster

While a hardcoded 1.2 version is fine when we offer that in Client Hello, we
should include the actually offered version if it has been reduced before
starting the exchange.

tls: Check for minimal TLS record length before each record iteration

Fixes fragment reassembling if a buffer contains more than one record, but
the last record contains a partial TLS record header. Thanks to Nick Saunders
and Jamil Nimeh for identifying this issue and providing a fix for it.

tls: Fix AEAD algorithm filtering, avoid filtering all suites if no AEAD found

tls: Offer TLS signature schemes in ClientHello in order of preference

Additionally, we now query plugin features to find out what schemes we exactly
support.

tls: Define AES-GCM cipher suites from RFC 5288/5289

tls: Implement the TLS AEAD abstraction for real AEAD modes

tls: Separate TLS protection to abstracted AEAD modes

To better separate the code path for different TLS versions and modes of
operation, we introduce a TLS AEAD abstraction. We provide three implementations
using traditional transforms, and get prepared for TLS AEAD modes.

aead: Support custom AEAD salt sizes

The salt, or often called implicit nonce, varies between AEAD algorithms and
their use in protocols. For IKE and ESP, GCM uses 4 bytes, while CCM uses
3 bytes. With TLS, however, AEAD mode uses 4 bytes for both GCM and CCM.

Our GCM backends currently support 4 bytes and CCM 3 bytes only. This is fine
until we go for CCM mode support in TLS, which requires 4 byte nonces.

ikev2: Recreate a CHILD_SA that got a hard lifetime expire without rekeying

Works around issues related to system time changes and kernel backends using
that system time, such as Linux XFRM.

revocation: Log error if no OCSP signer candidate found

Fixes evaluation of ikev2/ocsp-untrusted-cert.

Merge branch 'ocsp-constraints'

Limits cached OCSP verification to responses signed by the CA, a directly
delegated signer or a pre-installed OCSP responder certificate. Disables
auth config merge for revocation trust-chain strength checkin, as it breaks
CA constraints in some scenarios.

revocation: Restrict OCSP signing to specific certificates

To avoid considering each cached OCSP response and evaluating its trustchain,
we limit the certificates considered for OCSP signing to:

- The issuing CA of the checked certificate
- A directly delegated signer by the same CA, having the OCSP signer constraint
- Any locally installed (trusted) certificate having the OCSP signer constraint

The first two options cover the requirements from RFC 6960 2.6. For
compatibility with non-conforming CAs, we allow the third option as exception,
but require the installation of such certificates locally.

revocation: Don't merge auth config of CLR/OCSP trustchain validation

This behavior was introduced with 6840a6fb to avoid key/signature strength
checking for the revocation trustchain as we do it for end entity certificates.
Unfortunately this breaks CA constraint checking under certain conditions, as
we merge additional intermediate/CA certificates to the auth config.

As key/signature strength checking of the revocation trustchain is a rather
exotic requirement we drop support for that to properly enforce CA constraints.

hashtable: Make key arguments const

This allows using const strings etc. for lookups without cast. And keys
are not modifiable anyway.

Properly hash pointers for hash tables where appropriate

Simply using the pointer is not optimal for our hash table
implementation, which simply masks the key to determine the bucket.

kernel-pfroute: Let get_nexthop() default to destination address

x509: CERT_DECODE actually requires KEY_ANY

More specific decoders might still be needed, but the x509
plugin should not care which ones.

pkcs1: KEY_ANY public key decoder soft depends on specific decoders

eap-radius: Add option to not close IKE_SAs on timeouts during interim accouting updates

Fixes #528.

ikev1: Accept SPI size of any length <= 16 in ISAKMP proposal

Fixes #533.

proposal: Don't fail DH proposal matching if peer includes NONE

The DH transform is optional for ESP/AH proposals. The initiator can
include NONE (0) in its proposal to indicate that while it prefers to
do a DH exchange, the responder may still decide to not do so.

Fixes #532.

conf: Order settings in man page alphabetically

For the config snippets the options are now explicitly ordered before
subsections.

Merge branch 'acerts'

(Re-)Introduces X.509 Attribute Certificate support in IKE, and cleans up the
x509 AC parser/generator. ACs may be stored locally or exchanged in IKEv2
CERT payloads, Attribute Authorities must be installed locally. pki --acert
issues Attribute Certificates and replaces the removed openac utility.