]> git.ipfire.org Git - thirdparty/Python/cpython.git/commit
gh-109566, regrtest: Add --fast-ci and --slow-ci options (#109570)
authorVictor Stinner <vstinner@python.org>
Tue, 26 Sep 2023 15:22:50 +0000 (17:22 +0200)
committerGitHub <noreply@github.com>
Tue, 26 Sep 2023 15:22:50 +0000 (17:22 +0200)
commit859618c8cd5de86a975e68d7e5d20c04bc5db2e5
treed46b75bdda563aead0bd9587387905b3dea37d59
parent19bf3986958fc8269a1eb6d741bb60c91d6b5e58
gh-109566, regrtest: Add --fast-ci and --slow-ci options (#109570)

* Add --fast-ci and --slow-ci options to libregrtest:

  * --fast-ci uses a default timeout of 10 minutes and "-u all,-cpu"
    (skip slowest tests).
  * --slow-ci uses a default timeout of 20 minues and "-u all" (run
    all tests).

* regrtest header now lists test resources.
* Makefile changes:

  * "make test", "make hostrunnertest" and "make coverage-report" now
    use --fast-ci option and TESTTIMEOUT variable.
  * "make buildbottest" now uses "--slow-ci". Remove options which
    became redundant with "--slow-ci".
  * "make testall" and "make testuniversal" now use --slow-ci option
    and TESTTIMEOUT variable.
  * "make testall" now uses "find -exec rm ..." instead of
    "find ... -print|xargs rm ...", same as "make clean".

* GitHub Actions workflow:

  * Ubuntu and Address Sanitizer jobs now use "make test". Remove
    options which became redundant with "--fast-ci".
  * Windows jobs now use --fast-ci option.
  * Use -j0 to detect the number of CPUs.

* Set Makefile TESTTIMEOUT default to an empty string, since
  --slow-ci and --fast-ci use different default timeout. It's now
  accepted to pass "--timeout=" to regrtest: treated as not timeout.
* Tools/scripts/run_tests.py now uses --fast-ci option.
* Tools/buildbot/test.bat now uses --slow-ci option. Remove
  --timeout=1200 option, redundant with --slow-ci.
.github/workflows/build.yml
Doc/using/configure.rst
Lib/test/libregrtest/cmdline.py
Lib/test/libregrtest/main.py
Lib/test/libregrtest/results.py
Lib/test/libregrtest/utils.py
Lib/test/test_regrtest.py
Makefile.pre.in
Misc/NEWS.d/next/Tests/2023-09-19-13-33-20.gh-issue-109566.aX0g9o.rst [new file with mode: 0644]
Tools/buildbot/test.bat
Tools/scripts/run_tests.py