]> git.ipfire.org Git - thirdparty/glibc.git/commit - conform/Makefile
conformtest: Support system-specific XFAILs.
authorJoseph Myers <joseph@codesourcery.com>
Fri, 17 Mar 2017 01:08:27 +0000 (01:08 +0000)
committerJoseph Myers <joseph@codesourcery.com>
Fri, 17 Mar 2017 01:08:27 +0000 (01:08 +0000)
commit33c02810c5fdc06deddbf0b1bfd78969da9ec739
tree5689fa28436f465a196f8cd4a90ee2264d35f4a3
parent0fbca26c39e4735e7285092c98c75500550d84f4
conformtest: Support system-specific XFAILs.

conformtest has an internal XFAIL mechanism to allow failures of
individual expectations to be ignored, so that known hard-to-fix
failures (e.g. those affecting ABIs or requiring kernel changes) do
not cause the overall tests to FAIL and so hide other failures from
the same (header, standard) pair.

Various such bugs are system-specific, so this patch adds a mechanism
to allow system-specific XFAILs.  A system-independent XFAIL is
achieved by putting "xfail-" at the start of the relevant expectation
in the *-data files.  A system-specific XFAIL instead uses
"xfail[cond]-", where "cond" is a condition listed in
conformtest-xfail-conds in a sysdeps makefile (so one for x32 might
set conformtest-xfail-conds = x86_64-x32-linux, for example, and then
an expectation for tv_nsec's type could use
xfail[x86_64-x32-linux]-).  The actual names are arbitrary, just
needing to match between the makefiles and the expectations, and if
necessary you can use "xfail[cond1|cond2]-" for a test that is
expected to fail under multiple conditions.  As with
system-independent XFAILs, I think system-specific ones should have a
bug filed in Bugzilla and a comment referencing that bug.

Tested for x86_64, including with test expectations and makefiles
changed to use the new facility.

* conform/conformtest.pl ($xfail_str): New variable.
(--xfail=): New command-line option.
(top level): Handle expectations starting xfail[cond]-.
* conform/Makefile (conformtest-xfail): New variable.
($(conformtest-header-tests)): Pass $(conformtest-xfail) to
conformtest.pl.
ChangeLog
conform/Makefile
conform/conformtest.pl