]> git.ipfire.org Git - thirdparty/bind9.git/commitdiff
List atypical failures in system test summary
authorMichał Kępień <michal@isc.org>
Wed, 29 Jan 2020 13:50:26 +0000 (14:50 +0100)
committerMichał Kępień <michal@isc.org>
Wed, 29 Jan 2020 13:50:42 +0000 (14:50 +0100)
Each system test can be marked as failed not only due to some tested
component(s) not behaving as expected, but also because of core dumps,
assertion failures, and/or ThreadSanitizer reports being found among its
artifacts.  Make the system test summary list the tests which exhibit
such atypical symptoms to more clearly present the nature of problems
found.

(cherry picked from commit a8836b381f9d4825535757f05c09011912ee04fc)

bin/tests/system/testsummary.sh

index a6f2bc03f9105d406b5e5ba92f5e78d924eb8c03..6089b1677085a1613a5f45f05214ce6ffaf1fabb 100644 (file)
@@ -56,6 +56,24 @@ if [ -n "${FAILED_TESTS}" ]; then
        status=1
 fi
 
+CRASHED_TESTS=`find . -name 'core*' -or -name '*.core' | cut -d'/' -f2 | sort -u | sed -e 's/^/I:      /'`
+if [ -n "${CRASHED_TESTS}" ]; then
+       echoinfo "I:Core dumps were found for the following system tests:"
+       echoinfo "${CRASHED_TESTS}"
+fi
+
+ASSERTION_FAILED_TESTS=`find . -name named.run | xargs grep "assertion failure" | cut -d'/' -f2 | sort -u | sed -e 's/^/I:      /'`
+if [ -n "${ASSERTION_FAILED_TESTS}" ]; then
+       echoinfo "I:Assertion failures were detected for the following system tests:"
+       echoinfo "${ASSERTION_FAILED_TESTS}"
+fi
+
+TSAN_REPORT_TESTS=`find . -name 'tsan.*' | cut -d'/' -f2 | sort -u | sed -e 's/^/I:      /'`
+if [ -n "${TSAN_REPORT_TESTS}" ]; then
+       echoinfo "I:ThreadSanitizer reported issues for the following system tests:"
+       echoinfo "${TSAN_REPORT_TESTS}"
+fi
+
 RESULTS_FOUND=`grep -c 'R:[a-z0-9_-][a-z0-9_-]*:[A-Z][A-Z]*' systests.output`
 TESTS_RUN=`echo "${SUBDIRS}" | wc -w`
 if [ "${RESULTS_FOUND}" -ne "${TESTS_RUN}" ]; then