]> git.ipfire.org Git - thirdparty/bind9.git/commitdiff
List atypical failures in system test summary
authorMichał Kępień <michal@isc.org>
Wed, 29 Jan 2020 13:50:26 +0000 (14:50 +0100)
committerMichał Kępień <michal@isc.org>
Wed, 29 Jan 2020 13:50:26 +0000 (14:50 +0100)
Each system test can be marked as failed not only due to some tested
component(s) not behaving as expected, but also because of core dumps,
assertion failures, and/or ThreadSanitizer reports being found among its
artifacts.  Make the system test summary list the tests which exhibit
such atypical symptoms to more clearly present the nature of problems
found.

bin/tests/system/testsummary.sh

index a6f2bc03f9105d406b5e5ba92f5e78d924eb8c03..6089b1677085a1613a5f45f05214ce6ffaf1fabb 100644 (file)
@@ -56,6 +56,24 @@ if [ -n "${FAILED_TESTS}" ]; then
        status=1
 fi
 
+CRASHED_TESTS=`find . -name 'core*' -or -name '*.core' | cut -d'/' -f2 | sort -u | sed -e 's/^/I:      /'`
+if [ -n "${CRASHED_TESTS}" ]; then
+       echoinfo "I:Core dumps were found for the following system tests:"
+       echoinfo "${CRASHED_TESTS}"
+fi
+
+ASSERTION_FAILED_TESTS=`find . -name named.run | xargs grep "assertion failure" | cut -d'/' -f2 | sort -u | sed -e 's/^/I:      /'`
+if [ -n "${ASSERTION_FAILED_TESTS}" ]; then
+       echoinfo "I:Assertion failures were detected for the following system tests:"
+       echoinfo "${ASSERTION_FAILED_TESTS}"
+fi
+
+TSAN_REPORT_TESTS=`find . -name 'tsan.*' | cut -d'/' -f2 | sort -u | sed -e 's/^/I:      /'`
+if [ -n "${TSAN_REPORT_TESTS}" ]; then
+       echoinfo "I:ThreadSanitizer reported issues for the following system tests:"
+       echoinfo "${TSAN_REPORT_TESTS}"
+fi
+
 RESULTS_FOUND=`grep -c 'R:[a-z0-9_-][a-z0-9_-]*:[A-Z][A-Z]*' systests.output`
 TESTS_RUN=`echo "${SUBDIRS}" | wc -w`
 if [ "${RESULTS_FOUND}" -ne "${TESTS_RUN}" ]; then