unit-tests: Fix memory leak in ntru tests

Version bump to 5.1.3rc1

Check that valid OCSP responses are received in the ikev2/ocsp-multi-level scenario

Updated expired certificates issued by the Research and Sales Intermediate CAs

Renewed revoked Research CA certificate

unit-test: added missing TEST_FUNCTION macros

Added openssl-ikev2/net2net-pgp-v3 scenario

openssl: Add default fallback when calculating fingerprints of RSA keys

We still try to calculate these directly as it can avoid a dependency on
the pkcs1 or other plugins.  But for e.g. PGPv3 keys we need to delegate the
actual fingerprint calculation to the pgp plugin.

Completed integration of ntru_crypto library into ntru plugin

Merge branch 'travis-ci'

Adds a config file and build script for Travis CI. Makes the unit tests
buildable with Clang, and test vectors are now actually verified when
the unit tests are executed.

Also adds options to run only selected test suites and to increase the debug
level during unit tests.

The --enable/disable configure options have been reordered and grouped, and
an option to enable all the features has been added (plus an option to
select a specific printf-hook implementation).

travis: Use parallel build

Not sure if 4 jobs is optimal, but according to the docs each build host
has 1.5 virtual cores available (although "getconf _NPROCESSORS_ONLN"
returns 32, which is probably the number of real cores underneath), so
more jobs might not actually reduce the build time much more.

crypto-tester: Don't fail if key size is not supported

The Blowfish and Twofish implementations provided by the gcrypt plugin
only support specific key lengths, which we don't know when testing
against vectors (either during unit tests or during algorithm
registration).  The on_create test with a specific key length will be
skipped anyway, so there is no point in treating this failure differently.

unit-tests: Add an option to increase the verbosity when running tests

The TESTS_VERBOSITY option takes an integer from -1 to 4 that sets the
default debug level.

unit-tests: Add an option to run only a subset of all test suites

The TESTS_SUITES environment variable can contain a comma separated list
of names of test suites to run.

unit-tests: Actually verify registered algorithms against test vectors

Previously, the {ns}.crypto_test.on_add option had to be enabled to
actually test the algorithms, which we can't enforce for the tests in
the test_runner as the option is already read when the crypto factory
is initialized.  Even so, we wouldn't want to do this for every unit
test, which would be the result of enabling that option.

travis: Add tests for builtin printf hook implementation

We can't test Vstr as it does not properly handle negative int arguments
for custom format callbacks, so some of the enum tests would fail.

configure: Add an option to select a specific printf hook implementation

travis: Install dependencies for each test dynamically

Since the installation of all packages alone takes several minutes this
should speed up some test cases.

travis: Enable clang build

But build the distribution only once.

unit-tests: Use TEST_FUNCTION macro in ntru tests

unit-tests: Implement registered functions without __builtin_apply()

This makes the tests work with clang, which does not implement said
builtin.

unit-tests: Call functions with TEST_ prefix in ntru test

unit-tests: Prefix imported testable functions with TEST_

This avoids any clashes with existing functions in the monolithic build.

unit-tests: Change how hashtable for testable functions is created

Because GCC does not adhere to the priorities defined for constructors
when building with --enable-monolithic (not sure if it was just luck
that it worked in non-monolithic mode - anyway, it's not very portable)
function registration would fail because the hashtable would not be
created yet.

Add Travis CI config and build script

configure: Add an option to enable all optional features/plugins

This has probably no real practical use, but it simplifies testing.

configure: Reorder and group feature options

unit-tests: Generate weak keys with gcrypt plugin (but quickly)

tnc-pdp: Fix monolithic build

plugin-feature: Hash only the actually used feature argument

Clang does not initialize padding in union members so hashing the
complete "arg" union could lead to different hashes if the hashed
plugin_feature_t does not have static storage duration.

Fixes #549.

Added TPMRA workitem support for [dummy] Trusted Boot measurements

pki: When dispatching commands, don't look beyond non-null-terminated array

pki: Check length of commands array before accessing command in --help

As --help is counted as command as well, the array is not null-terminated
and we have to check for MAX_COMMANDS.

Fixes #550.

charon-nm: No additional secrets are required once a password has been entered

Recent versions of NM will call need_secrets() as long as it returns TRUE,
but then fail as the number of calls is limited by an assert.

Fixes #547.

array: Fix removal of elements in the second half of an array

Memory beyond the end of the array was moved when array elements in the
second half of an array were removed.

Fixes #548.

plugin-loader: Properly initialize modular plugin list if no plugins are enabled

Implemented ntru_private_key class

11 bits are needed to encode a maximum index of 1086

Merged libstrongswan options into charon section

strongswan.conf is not needed on RADIUS server alice

tnc-ifmap: Get a reference to the client cert as it is also used in an auth config

Version bump to 5.1.3dr1

Disable mandatory ECP support for attestion

Refactored NTRU parameter set selection

Refactored ntru_param_sets

thread: Properly clean up meta data of main thread

settings: Log all errors on level 1

Closes #539.

settings: Avoid conf file parsing beyond allocated buffer

A valgrind analysis of libstrongswan revealed an invalid read of 1 in
the function starts_with(). A more thorough analysis proved this to be
true and showed that with a specially crafted config file (e.g. a single
'#'-character not followed by a newline), the parser might even
interpret the random memory contents following the allocated buffer as
part of the configuration file.
The way the parser is designed, it must be able to skip an inserted
'\0' and continue parsing. Since it is not able to skip two '\0'
characters, the 'fix' of allocating two more bytes than the size of the
parsed file and setting them to '\0' seems to be a safe bet.

Signed-off-by: Thomas Egerer <thomas.egerer@secunet.com>

configure: Fix autoreconf with older autotools

Older autoconf versions (e.g. on CentOS 6.5) produce an empty else block
for the removed empty argument, which the shell then trips over when
executing ./configure.

Fixes #536.

Optimize ntru_poly constructors some more

Version bump to 5.1.2

Optimized initialisation of indices

Added get_array() method to ntru_poly_t class

Defined ntru_poly_create_from_seed() and ntru_poly_create_from_data() constructors and built some unit tests for the latter)

Optimized use of temporary arrays in polynomial multiplication

Implement ring multiplication method

conf: Fix out-of-tree build from distribution

It worked from the repository, where strongswan.conf.5.main is generated
in the build dir, but not from the distribution where it is located in
the source dir, so explicitly create it in the source dir.

utils: Add memrchr(3) replacement for platforms that don't support it

For instance, on Mac OS X memrchr(3) is not provided by the C library.

Merge branch 'dirname'

Fixes the incorrect usage of dirname(3) in settings_t and stroke_cred_t,
and adds thread-safe variants of dirname(3) and basename(3).

libpts: Use path_base|dirname()

conftest: Use path_dirname()

stroke: Use thread-safe dirname(3)

settings: Use thread-safe dirname(3)

utils: Add thread-safe variants of dirname(3) and basename(3)

utils: Move thread-safe strerror replacement to a separate file

For some utils _GNU_SOURCE might be needed but that conflicts with the
signature of strerror_r(3).

stroke: Use dirname(3) correctly

settings: Use dirname(3) correctly

dirname(3) may return a pointer to a statically allocated buffer.
So freeing the returned value can result to undefined behavior. This was
noticed on FreeBSD where it caused very strange crashes.

It is also not thread-safe, which will be addressed later.

Use logical AND function

pki: Make cmds array static, ensuring that it is zero-initialized

As pki --help relies on a zero-terminated array, make the actually non-public
cmds array static to ensure initialization.

index limit can be easily computed

uclibc only defines strndup(3) if _GNU_SOURCE is defined

References #516.

sshkey: uclibc only defines fmemopen(3) if _GNU_SOURCE is defined

Fixes #516.

coverage: Apparently not all shells can expand {src,scripts}

One example is ash.

pki: Fix minor resource leak on failure to read the private key in --req

stroke: Use proper modifiers to print size_t arguments

Created ntru_poly class for sparse trinary polynomials

android: Don't limit number to packets during EAP-TTLS

lookip: Properly return from disconnect callback job

References #518.

Doxygen: Sort group names alphabetically

Fixed some typos

plugin-loader: Escape <ns> in comment as Doxygen sees this as XML tag

unit-tests: Ignore tests not test_runner

conf: Ignore generated strongswan.conf.5.main

Added ikev2/lookip scenario

Version bump to 5.1.2rc2

lookip: Disconnect asynchronously to avoid dead-locking watcher unregistration

While it really would be desirable to allow stream destruction during on_read()
callbacks, this does not work anymore since e49b2998. Until we have a proper
solution for this issue, use asynchronous disconnects for the only user doing
so.

Fixes #518.

Fixed a minor vulnerability in which a malformed ASN.1 length field could cause a crash of the charon daemon if the verbose debug level 3 (raw hex dump) for the asn subsystem is enabled.

conf: Fix installation on FreeBSD

Apparently, the -t option for install is not portable.

pacman.sh creates /etc/pts/dists directory if it doesn't exist yet

NEWS: Add strongswan.conf changes and IPComp fixes

conf: The use of $^ is not portable

Generating strongswan.conf.5.main in a subshell gets the file
properly written to the builddir in out-of-tree builds.

printf-hook-glibc: printf.h on FreeBSD 10 does not include stdargs.h

array: Fix compilation on FreeBSD

Merge branch 'modular-load'

Introduces a new configuration file layout. strongswan.conf is now only
very simple and mainly includes the config snippets from the strongswan.d
and strongswan.d/charon directories (the latter containing snippets for
individual plugins).

Config snippets with commented defaults are generated for all currently
defined settings and are installed if they don't exist yet and the
respective plugin/component is enabled.  Similarly, the strongswan.conf(5)
man page, which documents all these settings, is automatically generated
from the same source.
The config snippets are also installed in $prefix/share/strongswan so
existing files can be compared to the most current defaults.

As an alternative to the non-extensible charon.load option, the plugins
to load can now be determined via the respective charon.plugins.<name>.load
setting.  This functionality is enabled by the new default strongswan.conf
file (via the charon.load_modular option) and the load setting in the
generated config snippets of all enabled plugins.  The load setting
optionally takes a numeric priority value that allows reordering the
plugins (plugins with the same priority are ordered according to the
default plugin order).

Additionally, all settings that were formerly defined in library
specific "global" sections are now application specific.  For instance,
instead of configuring libstrongswan.plugins.random.random and affecting
charon, charon-cmd, pki, basically every application using libstrongswan,
the option can now be set individually for each application (e.g.
pki.plugins.random.random to affect only pki).  The old options are still
supported though, which actually allows to define defaults for all
applications in the libstrongswan section.

The libtls options are mapped to <app>.tls. The libimcv and libtnccs options
are mapped to <app>.imcv and <app>.tnc, respectively (while their plugin's
options are now under <app>.plugins together with all the others).

Fixes #475.

conf: Install config files world-readable but warn about permissions for certain options

conf: Document variables and config files/dirs

Add Python and pkg-config as requirements to HACKING

pkg-config is probably installed on most systems by default, but e.g. not
on Cygwin.

conf: Only install config snippets for enabled components

conf: Document options of other programs

conf: Document options of plugins in libpts