pki: Reformat PKCS#12 output and add an index for each certificate/key

pki: Add simple PKCS#12 display command

pki: Load hmac plugin which is required to decrypt PKCS#12 containers

pki: Cache entered secrets in case they are needed more than once

ike: Allow creation of internally used payloads

Since 42e0a317c64b ("ike: Only parse payloads valid for the current IKE
version") payload types are checked before creating objects.  This check
failed for internally used payload types (e.g. proposal substructures),
which have a type >= 256, i.e. outside the IKE payload type range.

Cache only support fingerprint types

Fix ambiguities and gcc compiler warning

apple: Use precancelable poll() to wrap accept/recvmsg calls

To make accept/recvmsg cancelable, we wrap them with poll. As poll itself
does not honor pending cancellations when entering the function, we use our
variant that checks for pending cancellation requests before entering poll().

Version bump to 5.2.2rc1

Updated BLISS scenario keys and certificates to new format

Use bitspender->get_bytes() method in ntru_trits

Use Huffman code in BLISS signature

Include design parameters in generated Huffman code files

bliss: Fix monolithic build

This requires moving test files so that the Makefile for the tests can be
included after building libstrongswan, which requires the plugin when
building monolithically.  Due to this a static helper library is required
as directly referring to object files (or source files) is not possible.

It's also necessary to avoid any link-time dependency on libstrongswan in
bliss_huffman, to avoid circular dependencies (bliss_huffman -> libstrongswan
-> bliss -> bliss_huffman).

bliss: Fix compilation warning with certain GCC versions

Theoretically, n could be zero and these variables are then used
uninitialized.  Older GCC versions warn about this and on Travis where we
compile with -Werror this causes the tests to fail.

swanctl: Fail loading a connection if loading a cacert constraint fails

vici: Use silent builder destroy function in vici_free_req()

vici: Add a destroy method to builder, allowing cancellation without error

When cancelling a builder, finalize throws an error which we might prefer
to avoid.

eap-radius: Use the single-server legacy server options as fallback

Pack private key arrays

dumm: Fix -Wformat warning in ruby extension

In recent ruby versions, extensions get built with -Wformat. As we use custom
printf specifiers, that does not work for us. As there does not seem to be a
reliable way to override -Wformat, we use a variable for the format string,
which prevents gcc from doing the -Wformat check in that particular situation.

Automatic generation of optimized Huffman codes

unit-tests: added bliss_sampler test

Expanded bliss_bitpacker to 32 bits

NEWS: Add note about AH algorithm mapping

ikev1: Use same map for AH and ESP authentication algorithms

The transform identifier used in AH transforms is not the same as the
authentication algorithm identifier used in the transform attributes in
AH (and ESP) transforms.

ikev1: Accept IPComp proposals with 4 octet long CPI values

While they SHOULD be sent as 16-bit values according to RFC 3173
a responder MUST be able to accept CPI values encoded in four bytes.

ike: Only parse payloads valid for the current IKE version

ike: Make check for known payloads depend on IKE version

pkcs5: Add support for PBES2 encryption schemes other than 3DES

This allows using e.g. AES for PKCS#8 and PKCS#12 files.

Some legacy schemes defined in RFC 2898 are not supported (like RC2).

Fixes #740.

asn1: Add OID for Blowfish CBC

The OID (1.3.6.1.4.1.3029.1.2) is technically not correct, the correct
one is (1.3.6.1.4.1.3029.1.1.2).  Every other library or tool (like OpenSSL)
uses the incorrect one so we do the same.

References #740.

diffie-hellman: Handle dh_exponent_ansi_x9_42 as a boolean setting

While it was always documented as boolean setting, the option is currently
handled as integer value, for which yes/no values do not work. Instead the
default of TRUE is used for a no value.

The option has been moved a lot during the last years, and in some locations
was handled as bool, in some as integer. In the latest codebase it
congruently used integer, which is actually not what is documented and used
in testing.

Fixes #781.

unity: Only do narrowing of responder's TS if we received 0.0.0.0/0

iOS and Mac OS X clients establish individual IPsec SAs for the traffic
selectors received in Split-Include attributes (might have been different
in earlier releases).  If we return 0.0.0.0/0 as TSr that either results
in a bunch of Quick Mode exchanges (for each TS), or with the latest
client releases an error notify (ATTRIBUTES_NOT_SUPPORTED).
We also can't install the IPsec SA with all configured subnets as that
would cause conflicts if the client later negotiates SAs for other subnets,
which iOS 8 does based on traffic to such subnets.

For Shrew and the Cisco client, which propose 0.0.0.0/0, we still need to
override the narrowed TS with 0.0.0.0/0, as they otherwise won't accept
the Quick Mode response.  Likewise, we also have to narrow the TS before
installing the IPsec SAs and policies.

So we basically have to follow the client's proposal and only modify TSr
if we received 0.0.0.0/0.  Since we don't get the original TS in the
narrow hook we handle the inbound QM messages and make note of IKE_SAs on
which we received a TSr of 0.0.0.0/0.

Fixes #737.

id-payload: Enable multiple calls to get_ts() for subnet traffic selectors

The second call resulted in a /32 subnet previously.

ikev2: Fix handling of more than one hash-and-URL certificate payloads

Merge branch 'wfp-drop-firewall'

Introduces ALE layer WFP rules to accept tunnel mode packets in Windows
stateful packet filtering if default-drop policies are used.

kernel-wfp: Install outbound ALE connect rules for IPsec

Similar to the inbound rules, the ALE filter processes IP-in-IP packets for
outbound tunnel mode traffic. When using an outbound default-drop policy,
Windows does not allow connection initiation without these explicit rules.

kernel-wfp: Install inbound ALE IP-in-IP filters

When processing inbound tunnel mode packets, Windows decrypts packets and
filters them as IP-in-IP packets. We therefore require an ALE filter that
calls the FWPM_CALLOUT_IPSEC_INBOUND_TUNNEL_ALE_ACCEPT callout to allow them
when using a default-drop policy.

Without these rules, any outbound packet created an ALE state that allows
inbound packets as well. Processing inbound packets without any outbound
traffic fails without these rules.

kernel-wfp: Add missing IPsec sublayer GUIDs

kernel-wfp: Define IPsec related ALE layers and callout GUIDs

kernel-wfp: Fix logging of MM/QM/EM NetEvent failures

vici: Make sure to send/recv all requested bytes over socket

As the underlying C functions, send/recv on ruby sockets are not guaranteed
to send/recv all requested bytes. Use wrapper functions to make sure we get
all bytes needed.

updown: Inverse comment of VPN_LOGGING variable, as it is enabled by default

Fixes #780.

Version bump to 5.2.2dr1

Increased check size du to INITIAL_CONTACT notify

Renewed expired certificates

Implemented full BLISS support for IKEv2 public key authentication and the pki tool

Created ikev2/rw-ntru-bliss scenario

Applied bit packing to BLISS public key

Wipe BLISS private key memory

Created bliss_bitpacker class to encode BLISS signatures

Skip the unused bits field of the ASN.1 BIT STRING encoding

Store NTT A of BLISS public key a

unit-tests: created bliss_sign test suite

Finished BLISS signature generation

Implemented Gaussian rejection sampler

The bliss_sampler class uses the mgf1_bitspender as a
pseudo-random source.

Implemented get_byte() method for mgf1_bitspender class

The new get_byte() method returns a pseudo-random byte at a time.
Changed the get_bits() interface to the same interface as get_byte().
Updated the mgf1 unit-tests accordingly.

Added support for BLISS-III

Started implementing BLISS signature generation

Store and parse BLISS private and public keys in DER and PEM format

Additionally generate SHA-1 fingerprints of raw BLISS subjectPublicKey
and subjectPublicKeyInfo objects.

Some basic functions used by the bliss_public_key class are shared
with the bliss_private_key class.

unit-tests: Created separate mgf1 test suite

Use mgf1_bitspender in ntru_poly_create_from_seed

Use mgf1_bitspender to generate random secret key

Implemented bitspender based on the MGF1 mask generator function

unit-tests: Added bliss_fft test suite

Moved mgf1 class to libstrongswan/crypto/mgf1

Defined BLISS I and IV parameter sets

Added BLISS OIDs in ITA-HSR OID tree

Implemented Number Theoretic Transform using the FFT algorithm

By pre-multiplying the input arrays with a linear phase the
fast multiplication via FFT and inverse FFT computes a negative
wrapped convolution corresponding to a modulus of x^n+1.

Created framework for BLISS post-quantum signature algorithm

libtls: Catch POLLHUP/NVAL in TLS socket splicing

If one of the sockets gets disconnected, some systems return POLLHUP. Signal
the socket as ready to let the read/write call fail properly.

watcher: Proper handle poll() POLLHUP/NVAL signaling

poll() may return POLLHUP or POLLNVAL for given file descriptors. To handle
these properly, we signal them to the EXCEPT watcher state, if registered. If
not, we call the read/write callbacks, so they can properly fail when trying
to read from or write to the file descriptor.

windows: Properly set errno for read/write functions using Winsock

ikev2: Fix ike_rekey switch statement broken with last commit

ikev2: Prevent IKE_SA rekeying if we are currently retrying a CHILD_SA rekey

controller: Keep following initiate() if the first DH guess was wrong

child-sa: Introduce a CHILD_RETRYING state to detect DH group retries

Merge branch 'poll'

Replace relevant uses of select() by poll(). poll(2) avoids the difficulties
we have with more than 1024 open file descriptors, and seems to be fairly
portable.

Fixes #757.

windows: Move the compatibility header to the compat subfolder

apple: Wrap accept() and recvfrom() with poll(2) instead of select

apple: Introduce a central compatibility header with all __APPLE__ quirks

watcher: Use Windows read/write(2) wrappers instead of compile-conditions

windows: Provide a write(2) wrapper that uses send(2) on sockets

windows: Provide a read(2) wrapper that uses recv(2) on sockets

unit-tests: Test cancellability of some cancellation points we rely on

thread: Test for pending cancellation requests before poll()ing on OS X

As we are now using poll(2) instead of select(2), we need the work-around from
76dc329e for poll() as well.

kernel-libipsec: Use poll(2) instead of select

watcher: Use poll(2) instead of select

libtls: Use poll(2) instead of select() in tls_socket

socket-default: Use round-robin selection of sockets to read from

If multiple sockets are ready, we previously preferred the IPv4 non-NAT socket
over others. To handle all with equal priority, use a round-robin selection.

socket-default: Use poll(2) instead of select

It is not only simpler, but also allows the use of arbitrary high fd numbers,
which silently fails with select().

tun-device: Read from tun to buffer on stack to avoid over-allocation of packets

Instead of allocating MTU-sized buffers for each packet, read to a stack buffer
and copy to an allocation of the actual packet size. While it requires an
additional copy on non-Apple platforms, this should make allocation more
efficient for small packets.

tun-device: Remove the superfluous use of select() before read()

libradius: Use poll(2) to wait for RADIUS responses

windows: Provide a poll(2) wrapper calling WSAPoll()

Merge branch 'netlink-extensions'

Introduces options to enable concurrent Netlink queries. While this does not
make much sense on vanilla Linux, this can help on third party stacks to
increase throughput if longer latencies are to expect. Netlink message
retransmission can be optionally enabled if transmission is unreliable.
Non-socket based IKE bypass policies and other tweaks bring better compatibility
to third party stacks using Netlink.

kernel-netlink: Optionally ignore errors resulting from response message loss

As some backends over unreliable transport do not cache response messages,
retransmissions due the loss of responses perform the operation again. Add an
option to ignore some errors arising from such duplicate operations.

Note: This approach can't distinguish between real EXIST/NOTFOUND errors
and packet failures, and therefore is a source of race conditions and can't
detect any of these errors actually happening. Therefore that behavior is
disabled by default, and can be enabled with the ignore_retransmit_errors
strongswan.conf option.

To properly distinguish between real and retransmission errors, a Netlink
backend should implement retransmission detection using sequence numbers.

kernel-netlink: Add an option to enforce using XFRM_MSG_UPDPOLICY

kernel-netlink: Fallback to UDP if detecting socket protocol fails

getsockopt(SO_PROTOCOL) is not supported before 2.6.32. Default to UDP if
either the SO_PROTOCOL define is missing or the syscall fails.

kernel-netlink: Alternatively support global port based IKE bypass policies

The socket based IKE bypass policies are usually superior, but not supported
on all networking stacks. The port based variant uses global policies for the
UDP ports we have IKE sockets for.