Merge branch 'fwmarks'

Allows setting a mark on outbound packets and the routing rule
installed by charon.  With those settings it is possible to setup
tunnels with kernel-libipsec where the remote peer is part of the remote
traffic selector.

The following example settings in strongswan.conf show how this can be
configured:

charon {
    plugins {
        kernel-netlink {
            fwmark = !0x42
        }
        socket-default {
            fwmark = 0x42
        }
        kernel-libipsec {
            allow_peer_ts = yes
        }
    }
}

To make it work it is necessary to set

  net.ipv4.conf.all.rp_filter

appropriately, otherwise the kernel drops the packets.

References #380.

kernel-libipsec: Don't ignore policies of type != POLICY_IPSEC

This actually broke rekeying due to the DROP policies that are
temporarily added, which broke the refcount as the ignored policies
were not ignored in del_policy() (the type is not known there).

kernel-libipsec: Add an option to allow remote TS to match the IKE peer

Setting the fwmark options for the kernel-netlink and socket-default
plugins allow this kind of setup.

It is probably required to set net.ipv4.conf.all.rp_filter to 2 to make
it work.

socket-default: Allow setting firewall mark on outbound packets

kernel-netlink: Allow setting firewall marks on routing rule

ipsec_types: Add utility function to parse mark_t from strings

Merge branch 'database-transactions'

This adds support for transactions to the database_t interface and the two
current implementations.

The pool utility is also moved to its own directory in src/.

attr-sql: Use a serializable transaction when inserting identities

database: Add support for serializable transactions

sql: Don't use MyISAM engine and set collation/charset for all tables

The MyISAM engine doesn't support transactions.

pool: Change transaction handling

pool: Move the pool utility to its own directory in src

attr-sql: Handle concurrent insertion of identities

If the same identity is added concurrently by two threads (or by the
pool utility) INSERT might fail even though the SELECT was unsuccessful
before.

We are currently not able to lock the identities table in a portable way
(something like SELECT ... FOR UPDATE on MySQL).

attr-sql: Don't use database transactions in create_attribute_enumerator

There could, of course, be race conditions when enumerating the attributes,
but those probably don't matter (e.g. missing an attribute that was
concurrently added).

Transactions are more intended to revert multiple changes if anything
fails in the process.

sqlite: Implement transaction handling

mysql: Implement transaction handling

database: Add interface to handle transactions

mysql: Ensure connections are properly released in multi-threaded environments

crypto-factory: Try next available RNG implementation if constructor fails

crypto-factory: Order entries by algorithm identifier and (optionally) speed

Remove HASH_PREFERRED, usages are replaced with HASH_SHA1, which is required for IKEv2 anyway

vstr: Forward actual field width

fmt_field_width is a flag that indicates if a field width
is defined in obj_field_width.

unit-tests: support testing when leak-detective has not been enabled

NEWS: Updates for the ah, libipsec-usestats and printf-hook merges

Merge branch 'printf-hook'

Adds a custom printf hook implementation as a fallback if neither the glibc
style hooks nor vstr is available. This can avoid the Vstr dependency on some
systems at the cost of slower and less complete printf functions.

printf-hook-builtin: Print NaN/Infinity floating point values as such

printf-hook-builtin: Correctly round up floating point values

printf-hook-builtin: Add some preliminary floating point support

This minimalistic implementation has no aspiration for completeness or
accuracy, and just provides what we need.

printf-hook-builtin: Support GNU %m specifier

printf-hook-builtin: Add a new "builtin" backend using its own printf() routines

Overloads printf C library functions by a self-contained implementation,
based on klibc. Does not yet feature all the required default formatters,
including those for floating point values.

printf-hook: Add some basic printf() string/integer test functions

printf-hook: Move glibc/vstr printf hook backends to separate files

Merge branch 'libipsec-usestats'

Brings SA usage statistics and volume based expiration to libipsec and the
associated kernel-libipsec plugin. Additionally removes any ESPv3 style TFC
padding found in incoming packets.

libipsec: Enforce byte/packet lifetimes on SAs

kernel-libipsec: Support ESPv3 TFC padding

libipsec: remove extra RFC4303 TFC padding appended to inner payload

kernel-libipsec: Support query_sa() to report usage statistics

libipsec: Support usage statistics and query_sa() on IPsec SAs

kernel: Use a time_t to report use time in query_policy()

kernel: Use a time_t to report use time in query_sa()

Merge branch 'ah'

Brings support for Security Associations integrity protected by the
Authentication Header protocol, both to IKEv1 and IKEv2. Currently only plain
AH is supported, but no (now deprecated) RFC2401 style AH+ESP bundles.

ipsec.conf: Add a description for the new 'ah' keyword.

testing: Add an IKEv1 host2host AH transport mode test case

testing: Add an IKEv1 net2net AH test case

testing: Add an IKEv2 host2host AH transport mode test case

testing: Add an IKEv2 net2net AH test case

testing: Allow AH packets in default INPUT/OUTPUT chains

updown: Install forwarding rules with the actually used protocol

updown: Add a PLUTO_PROTO variable set to 'ah' or 'esp'

starter: Reject connections having both 'ah' and 'esp' keywords set

We currently don't support mixed proposals or bundles, so don't create the
illusion we would.

ike: Define keylength for aescmac algorithm

ikev1: Support parsing of AH+IPComp proposals

starter: Remove obsolete 'auth' option

ikev1: Accept more than two certificate payloads

ikev1: Support en-/decoding of SA payloads with AH algorithms

kernel-handler: Whitespace cleanups

stroke: List proposals in statusall without leading '/' in AH SAs

ikev1: Delete quick modes with the negotiated SA protocol

trap-manager: Install trap with SA protocol of the first configured proposal

child-sa: Save protocol during SPI allocation

This allows us to properly delete the incomplete SA with the correct protocol
should negotiation fail.

ikev1: Negotiate SPI with the first/negotiated proposal protocol

ikev2: Allocate SPI with the protocol of the first/negotiated proposal

proposal: Strip redundant integrity algos for ESP proposals only

stroke: Configure proposal with AH protocol if 'ah' option set

starter: Add an 'ah' keyword for Authentication Header Security Associations

Version bump to 5.1.1rc1

Keep a copy of the tnccs instance for PT-TLS handover

xauth-pam: Make trimming of email addresses optional

Fixes #430.

ikev1: Accept reauthentication attempts with a keep unique policy from same host

When we have a "keep" unique policy in place, we have to be less strict in
rejecting Main/Aggressive Modes to enforce it. If the host/port equals to
that of an existing ISAKMP SA, we assume it is a reauthentication attempt
and accept the new SA (to replace the old).

ikev1: Don't log a reauthentication detection message if no children adopted

When a replace unique policy is in place, the children get adopted during
the uniqueness check. In this case the message is just misleading.

ikev1: Delay a potential delete for a duplicate IKE_SA having a replace policy

Sending a DELETE for the replaced SA immediately is problematic during
reauthentication, as the peer might have associated the Quick Modes to the
old SA, and also delete them.

With this change the delete for the old ISAKMP SA is usually omitted, as it
is gets implicitly deleted by the reauth.

eap-radius: Increase buffer for attributes sent in RADIUS accounting messages

64 bytes might be too short for user names/identities.

openssl: Properly log FIPS mode when enabled via openssl.conf

Enabling FIPS mode twice will fail, so if it is enabled in openssl.conf
it should be disabled in strongswan.conf (or the other way around).

Either way, we should log whether FIPS mode is enabled or not.

References #412.

android: New release after fixing remediation instructions regression

android: Change progress dialog handling

With the previous code the dialog sometimes was hidden for a short while
before it got reopened.

android: Clear remediation instructions when starting a new connection

starter: Don't ignore keyingtries with rekey=no

Since keyingtries also affects the number of retries initially or when
reestablishing an SA it should not be affected by the rekey option.

Fixes #418.

load-tester: Fix crash if private key was not loaded successfully

Fixes #417.

printf-hook: Write to output stream instead of the FD directly when using Vstr

This avoids problems when other stdio functions are used (fputs,
fwrite) as writes via Vstr/FD were always unbuffered.

android: New release after improving recovery after connectivity changes

android: Change state handling to display errors occurring while the app is hidden

A new connection ID allows listeners to track which errors they have
already shown to the user or were already dismissed by the user.

This was necessary because the state fragment is now unregistered from
state changes when it is not shown.

android: Don't update state fragments when they are not displayed

Besides that updates don't make much sense when the fragments are not
displayed this fixes the following exception:
java.lang.IllegalStateException: Can not perform this action after
onSaveInstanceState

ikev2: Force an update of the host addresses on the first response

This is especially useful on Android where we are able to send messages
even if we don't know the correct local address (this is possible
because we don't set source addresses in outbound messages).  This way
we may learn the correct local address if it e.g. changed right before
reestablishing an SA.

Updating the local address later is tricky without MOBIKE as the
responder might not update the associated IPsec SAs properly.

ike-sa: Resolve hosts before reestablishing an IKE_SA

android: Several plugins were moved from libcharon to libtnccs

These were moved in commits e8f65c5cde and 12b3db5006.

android: Properly handle failures while initializing charon

kernel-netlink: Allow to override xfrm_acq_expires value

When using auto=route, current xfrm_acq_expires default value
implies that tunnel can be down for up to 165 seconds, if
other peer rejected first IKE request with an AUTH_FAILED or
NO_PROPOSAL_CHOSEN error message. These error messages are
completely normal in setups where another application
pushes configuration to both strongSwans without waiting
for acknowledgment that they have updated their configurations.

This patch allows strongswan to override xfrm_acq_expires default
value by setting charon.plugins.kernel-netlink.xfrm_acq_expires in
strongswan.conf.

Signed-off-by: Ansis Atteka <aatteka@nicira.com>

Implemented TCG/PB-PDP_Referral message

Allow vendor-specific PB-TNC messages

ignore *.1 manpage files

Version bump to 5.1.1dr4

Merge branch 'pubkeys'

Adds support to pki --pub to convert public keys to other formats
including SSH keys and DNSKEYs.  SSH public keys can also be read
from files in the format used by OpenSSH.

sshkey: Add support for parsing keys from files

sshkey: Add encoding for ECDSA keys

openssl: Add support for generic encoding of EC public keys

pki: --pub also accepts public keys (i.e. to convert them to a different format)

pki: Add support to encode public keys in SSH key format

sshkey: Add encoder for RSA keys

openssl: Add generic RSA public key encoding

openssl: Add helper function to convert BIGNUMs to chunks