]> git.ipfire.org Git - thirdparty/bind9.git/commit
chg: ci: Set stricter limits for respdiff testing
authorNicki Křížek <nicki@isc.org>
Thu, 23 Jan 2025 17:26:40 +0000 (17:26 +0000)
committerNicki Křížek <nicki@isc.org>
Thu, 23 Jan 2025 17:26:40 +0000 (17:26 +0000)
commitaf0a5dfeebc47a18add57f1c9adb9e43515f7b08
tree50c3f97c49fb2ae19540fb31b24651e5d0a261ba
parentda207678f35c1d932a8adf82da8da790d471a85f
parent0584d3f65f4fea05eeb8c3f70c5460467b6637ef
chg: ci: Set stricter limits for respdiff testing

Adjust the limit of maximum disagreements in respdiff results based on
recent pipeline results.

The respdiff and respdiff:asan seem to have almost identical results,
typically around 0.07 % of differences with ocassional spikes up to
around 0.11 %. Similar results are for respdiff:tsan, perhaps with more
common spikes with values up to around 0.12 %. Set the limit to 0.15 %
to allow for some tolerance due to network conditions, time of day etc.

The respdiff:third-party has a slightly higher disagreements average,
with typical values being around 0.12 %. Set the limit to 0.2 %.

Exceeding either of those values should be quite clear indication that
some resolution behaviour has changed, since the values appear to be
very stable within the newly configured limits.

Merge branch 'nicki/ci-respdiff-limits' into 'main'

See merge request isc-projects/bind9!9950