]> git.ipfire.org Git - thirdparty/openembedded/openembedded-core.git/commit
scripts/resulttool/regression: add metadata filtering for oeselftest
authorAlexis Lothoré <alexis.lothore@bootlin.com>
Fri, 24 Feb 2023 16:45:52 +0000 (17:45 +0100)
committerRichard Purdie <richard.purdie@linuxfoundation.org>
Sun, 26 Feb 2023 11:52:12 +0000 (11:52 +0000)
commit94ab7c2b892bf292dd86619ca9c63ddd7bf53f3c
tree813b5d2ad0860349a77f9c028f2b9358c9866689
parent4d6a74fcee1479562bf66360f20d528107c70887
scripts/resulttool/regression: add metadata filtering for oeselftest

When generating regression reports, many false positive can be observed since
some tests results are compared while the corresponding tests sets are not the
same, as it can be seen for example for oeselftest tests (oeselftest is run
multiple time but with different parameters, resulting in different tests sets)

Add a filtering mechanism in resulttool regression module to enable a better
matching between tests. The METADATA_MATCH_TABLE defines that when the TEST_TYPE
is "oeselftest", then resulttool should filter pairs based on
OESELFTEST_METADATA appended to test configuration. If metadata is absent from
test results, in order to keep compatibility with older results, add a
"guessing" mechanism to generate the missing OESELFTEST_METADATA. The guessed
data is tightly coupled to the autobuilder configuration, where all oe-selftest
executions are described

Signed-off-by: Alexis Lothoré <alexis.lothore@bootlin.com>
Signed-off-by: Richard Purdie <richard.purdie@linuxfoundation.org>
scripts/lib/resulttool/regression.py