]> git.ipfire.org Git - thirdparty/bind9.git/commit
Record skipped test as skipped in testsuite summary
authorMichal Nowak <mnowak@isc.org>
Wed, 30 Dec 2020 12:23:18 +0000 (13:23 +0100)
committerMichal Nowak <mnowak@isc.org>
Mon, 15 Feb 2021 10:15:20 +0000 (11:15 +0100)
commitfbdd464038d9890c56ebdd848d6473e156bd17a7
tree35bacfeb01726f40c4a60b33ec62c69dfa9b8ffa
parent8c1df63312a02d2352312b07f292d8e84672fec2
Record skipped test as skipped in testsuite summary

When system test execution was ported to Automake, SKIPPED and UNTESTED
system test result were not made to match Automake expectations,
therefore a skipped test is recorded by Automake as "PASS":

    $ make check TESTS=cpu V=1
    I:cpu:cpu test only runs on Linux, skipping test
    I:cpu:Prerequisites missing, skipping test.
    R:cpu:SKIPPED
    E:cpu:2020-12-16T11:36:58+0000
    PASS: cpu
    ====================================================================
    Testsuite summary for BIND 9.17.7
    ====================================================================
    # TOTAL: 1
    # PASS:  1

For a test to be recorded by Automake as skipped, the test, or it's test
driver, needs to exit with code 77:

    $ make check TESTS=cpu V=1
    I:cpu:cpu test only runs on Linux, skipping test
    I:cpu:Prerequisites missing, skipping test.
    R:cpu:SKIPPED
    E:cpu:2020-12-16T11:39:10+0000
    SKIP: cpu
    ====================================================================
    Testsuite summary for BIND 9.17.7
    ====================================================================
    # TOTAL: 1
    # PASS:  0
    # SKIP:  1
bin/tests/system/run.sh.in