]> git.ipfire.org Git - thirdparty/bind9.git/commit
Detect missing system test results
authorMichał Kępień <michal@isc.org>
Fri, 6 Dec 2019 13:11:01 +0000 (14:11 +0100)
committerMichał Kępień <michal@isc.org>
Fri, 6 Dec 2019 13:11:01 +0000 (14:11 +0100)
commit3c3085be3c02e2ce20372acbae8266ad37531246
treedc80f75a97cc4a55308e5816176294cd22df92f5
parent26ee43da1b2650e5de9479c53d9d6ae72fa7d86c
Detect missing system test results

At the end of each system test suite run, the system test framework
collects all existing test.output files from system test subdirectories
and produces bin/tests/system/systests.output from those files.
However, it does not check whether a test.output file was found for
every executed test.  Thus, if the test.output file is accidentally
deleted by the system test itself (e.g. due to an overly broad file
removal wildcard present in clean.sh), its output will not be included
in bin/tests/system/systests.output.  Since the result of each system
test suite run is determined by bin/tests/system/testsummary.sh, which
only operates on the contents of bin/tests/system/systests.output, this
can lead to test failures being ignored.  Fix by ensuring the number of
test results found in bin/tests/system/systests.output is equal to the
number of tests run and triggering a system test suite failure in case
of a discrepancy between these two values.
bin/tests/system/testsummary.sh