gh-103053: Skip test_freeze_simple_script() on PGO build (#109591)

Skip test_freeze_simple_script() of test_tools.test_freeze if Python
is built with "./configure --enable-optimizations", which means with
Profile Guided Optimization (PGO): it just makes the test too slow.
The freeze tool is tested by many other CIs with other (faster)
compiler flags.

test.pythoninfo now gets also get_build_info() of
test.libregrtests.utils.

gh-90108: Disable LTO on _freeze_module and _testembed (#109581)

LTO optimization is nice to make Python faster, but _freeze_module
and _testembed performance is not important. Using LTO to build these
two programs make a whole Python build way slower, especially
combined with a sanitizer (like ASAN).

gh-109109: Expose retrieving certificate chains in SSL module (#109113)

Adds APIs to get the TLS certificate chains, verified or full unverified, from SSLSocket and SSLObject.

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

gh-109033: Return filename with os.utime errors (#109034)

The filename was previously intentionally omitted from exception because
"it might confuse the user". Uncaught exceptions are not generally a
replacement for user-facing error messages, so obscuring this
information only has the effect of making the programmer's life more
difficult.

gh-76785: Use Pending Calls When Releasing Cross-Interpreter Data (gh-109556)

This fixes some crashes in the _xxinterpchannels module, due to a race between interpreters.

gh-109580: Skip test_perf_profiler on ASAN build (#109584)

Skip test_perf_profiler if Python is built with ASAN, MSAN or UBSAN
sanitizer. Python does crash randomly in this test on such build.

gh-108724: Fix _PySemaphore compile error on WASM (gh-109583)

Some WASM platforms have POSIX semaphores, but not sem_timedwait.

gh-108724: Add PyMutex and _PyParkingLot APIs (gh-109344)

PyMutex is a one byte lock with fast, inlineable lock and unlock functions for the common uncontended case.  The design is based on WebKit's WTF::Lock.

PyMutex is built using the _PyParkingLot APIs, which provides a cross-platform futex-like API (based on WebKit's WTF::ParkingLot).  This internal API will be used for building other synchronization primitives used to implement PEP 703, such as one-time initialization and events.

This also includes tests and a mini benchmark in Tools/lockbench/lockbench.py to compare with the existing PyThread_type_lock.

Uncontended acquisition + release:
* Linux (x86-64): PyMutex: 11 ns, PyThread_type_lock: 44 ns
* macOS (arm64): PyMutex: 13 ns, PyThread_type_lock: 18 ns
* Windows (x86-64): PyMutex: 13 ns, PyThread_type_lock: 38 ns

PR Overview:

The primary purpose of this PR is to implement PyMutex, but there are a number of support pieces (described below).

* PyMutex:  A 1-byte lock that doesn't require memory allocation to initialize and is generally faster than the existing PyThread_type_lock.  The API is internal only for now.
* _PyParking_Lot:  A futex-like API based on the API of the same name in WebKit.  Used to implement PyMutex.
* _PyRawMutex:  A word sized lock used to implement _PyParking_Lot.
* PyEvent:  A one time event.  This was used a bunch in the "nogil" fork and is useful for testing the PyMutex implementation, so I've included it as part of the PR.
* pycore_llist.h:  Defines common operations on doubly-linked list.  Not strictly necessary (could do the list operations manually), but they come up frequently in the "nogil" fork. ( Similar to https://man.freebsd.org/cgi/man.cgi?queue)

---------

Co-authored-by: Eric Snow <ericsnowcurrently@gmail.com>

gh-109496: Skip test_capi.test_decref_freed_object() on ASAN (#109573)

Skip test_decref_freed_object() of test_capi.test_misc if Python is
built with ASAN, MSAN or UBSAN sanitizers.

gh-109566: Run GHA and buildbot tests with --fail-rerun (#109567)

Misc itertool recipe improvements, mostly docstrings and comments (gh-109555)

gh-109485: Further improve `test_future_stmt` tests (#109486)

Add assertSyntaxError() which run tests with an additional docstring
and without docstring, and checks for the error message.

gh-109435: Add Doc/library/cmdline.rst (#109436)

Document modules providing a command-line interface (CLI).

no-issue: Fix typo TestContentTyopeHeader to TestContentTypeHeader (gh-109069)

gh-109125: Run mypy on `Tools/wasm` (#109126)

gh-109469: Silence compiler warnings on string comparisons in _testcapi (GH-109533)

gh-109546: Add more tests for formatting floats and fractions (GH-109548)

Fix error handling in _PySys_UpdateConfig() (GH-109524)

gh-102757: fix function signature mismatch for `functools.reduce` between code and documentation (#102759)

gh-109496: Detect Py_DECREF() after dealloc in debug mode (#109539)

On a Python built in debug mode, Py_DECREF() now calls
_Py_NegativeRefcount() if the object is a dangling pointer to
deallocated memory: memory filled with 0xDD "dead byte" by the debug
hook on memory allocators. The fix is to check the reference count
*before* checking for _Py_IsImmortal().

Add test_decref_freed_object() to test_capi.test_misc.

gh-109508: Fix libregrtest formatting of getcwd() (#109537)

gh-109371: Fix monitoring with instruction events set (gh-109385)

gh-108843: fix ast.unparse for f-string with many quotes (#108981)

gh-108303: Fix and move `badsyntax_pep3120.py` (#109513)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-109408: Azure Pipelines: test 3.12 branch (#109453)

Docs: getopt is deprecated in Python 3.13 (#109438)

Fix a typo in c-analyzer (#109213)

Co-authored-by: sunmy2019 <59365878+sunmy2019@users.noreply.github.com>
Co-authored-by: Dale Collison <92315623+dcollison@users.noreply.github.com>

Fix extraneous backslashes in hashlib docs (#109468)

gh-109413: Improve mypy config for libregrtest (#109518)

Improve the mypy config file for libregrtest

gh-109408: Remove Ubuntu unit tests from Azure Pipelines (#109452)

gh-108511: Add C API functions which do not silently ignore errors (GH-109025)

Add the following functions:

* PyObject_HasAttrWithError()
* PyObject_HasAttrStringWithError()
* PyMapping_HasKeyWithError()
* PyMapping_HasKeyStringWithError()

gh-108303: Move all certificates to `Lib/test/certdata/` (#109489)

gh-109451: Fix wrong format specifier in logging documentation (GH-109465)

gh-109414: Add some basic information about venvs in the introduction. (GH-109440)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-109474: Update two Unix packaging URLs  (#109307)

update packaging URLs

fix a broken URL for fedora RPM packaging guide and fix a URL redirect for Slackware packaging guide.

GH-83417: Allow `venv` to add a `.gitignore` file to environments via a new `scm_ignore_file` parameter (GH-108125)

This feature is off by default via code but on by default via the CLI. The `.gitignore` file contains `*` which causes the entire directory to be ignored.

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-106213: Make Emscripten trampolines work with JSPI (GH-106219)

There is a WIP proposal to enable webassembly stack switching which have been
implemented in v8:

https://github.com/WebAssembly/js-promise-integration

It is not possible to switch stacks that contain JS frames so the Emscripten JS
trampolines that allow calling functions with the wrong number of arguments
don't work in this case. However, the js-promise-integration proposal requires
the [type reflection for Wasm/JS API](https://github.com/WebAssembly/js-types)
proposal, which allows us to actually count the number of arguments a function
expects.

For better compatibility with stack switching, this PR checks if type reflection
is available, and if so we use a switch block to decide the appropriate
signature. If type reflection is unavailable, we should use the current EMJS
trampoline.

We cache the function argument counts since when I didn't cache them performance
was negatively affected.

Co-authored-by: T. Wouters <thomas@python.org>
Co-authored-by: Brett Cannon <brett@python.org>

gh-109096: Deprecate `http.server.CGIHTTPRequestHandler` (#109387)

Deprecate `http.server.CGIHTTPRequestHandler`.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-109373: Store metadata required for pystats comparison in the JSON (GH-109374)

gh-109350: Fix outdated captured output in unittest.mock documentation (#109353)

gh-109413: Fix some trivial mypy nitpicks in libregrtest (#109454)

gh-91960: Disable Cirrus CI for now (#109457)

Python is out of free credit and so all jobs are reported as failure.

Rename .cirrus.yml to .cirrus-DISABLED.yml to disable the job.

gh-109287: Desugar inst(X) to op(X); macro(X) = X (#109294)

This makes the internal representation in the code generator simpler: there's a list of ops, and a list of macros, and there's no special-casing needed for ops that aren't macros. (There's now special-casing for ops that are also macros, but that's simpler.)

Add missing `PyDoc_STR` calls (#109393)

In files:

* Modules/_ctypes/cfield.c
* Modules/_struct.c
* Objects/dictobject.c
* Objects/typevarobject.c
* Objects/unionobject.c

Fix date.__repr__() docstring (#109422)

Docs: Superseded modules: list only module names (#109439)

gh-109395: Remove skipped macOS builds from Azure Pipelines (#109400)

gh-108303: Move `test_future` into its own test_future_stmt subdir (#109368)

gh-109395: Remove skipped coverage job from Azure Pipelines (#109412)

gh-109425: regrtest decodes worker stdout with backslashreplace (#109428)

libregrtest now decodes stdout of test worker processes with the
"backslashreplace" error handler to log corrupted stdout, instead of
failing with an error and not logging the stdout.

gh-109375: Fix bug where pdb registers an alias without an associated command (#109376)

gh-109396: Fix test_socket.test_hmac_sha1() in FIPS mode (#109423)

Use a longer key: FIPS mode requires at least of at least 112 bits.
The previous key was only 32 bits.

gh-109418: Fix hypothesis strategy for b2a_roundtrip test (#109419)

gh-109413: libregrtest: Add and improve type annotations (#109405)

gh-101100: Fix sphinx warnings in `turtle.rst` (#109394)

gh-109219: propagate free vars through type param scopes (#109377)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-105658: fix excess trace events for except block ending with a conditional block (#109384)

dump readable opcode names in flowgraph debug utility (#109392)

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

gh-109402: Fix regrtest findtests() (#109403)

Check for the full module name in SPLITTESTDIRS, not the relative
module name.

gh-107298: Document PyMODINIT_FUNC macro (#109236)

Document PyMODINIT_FUNC macro.

Remove links to PyAPI_FUNC() and PyAPI_DATA() macros since they are
not documented. These macros should only be used to define the Python
C API. They should not be used outside Python code base.

gh-107782: Use _testcapi to test non-representable signatures (GH-109325)

Builtin functions and methods that have non-representable signatures today
will have representable signatures yesterday, and they will become unusable
for testing this feature.

So we need to add special functions and methods to the _testcapi module
that always have non-representable signatures.

Add missing PyDoc_STR to GenericAlias.__parameters__ (#108811)

Fix invocation of wasm_build.py for node (GH-109383)

GH-104584: Don't call executors from JUMP_BACKWARD (GH-109347)

GH-105848: Replace KW_NAMES + CALL with LOAD_CONST + CALL_KW (GH-109300)

gh-109341: Fix crash on compiling invalid AST including TypeAlias (#109349)

gh-109351: Fix crash when compiling AST with invalid NamedExpr (#109352)

gh-109156: Add tests for de-instrumenting instructions with instrumented lines (GH-109157)

Fix variable name in dis documentation example (GH-109343)

BINARY_SUBSCR example erroneously uses two different names `key` and `index` to refer to the same variable. STORE_SUBSCR and DELETE_SUBSCR use only `key` in the same context. Changing `index` to `key` for consistency.

gh-105189: fix importlib.resources.abc deprecation docs (#105232)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104736: Fix test_gdb tests on ppc64le with clang (#109360)

Fix test_gdb on Python built with LLVM clang 16 on Linux ppc64le (ex:
Fedora 38). Search patterns in gdb "bt" command output to detect
when gdb fails to retrieve the traceback. For example, skip a test if
"Backtrace stopped: frame did not save the PC" is found.

gh-108346: Fix failed benchmark in decimal (#108353)

Fix benchmark in decimal to work again after the int str conversion limits.

gh-109357: Fix test_monitoring.test_gh108976() (#109358)

The test now calls free_tool_id() so it can be run multiple times in
the same process. For example, the following command no longer fails:

    python -m test test_monitoring -R 3:3

gh-109276: libregrtest: fix work dir on WASI (#109356)

On WASI platform, get_temp_dir() should behave differently since the
parent process is a WASI process and uses a different get_temp_dir()
path.

Fix also WorkerThread._runtest(): don't read JSON file if the worker
process exit code is non-zero.

gh-109276: libregrtest: WASM use stdout for JSON (#109355)

On Emscripten and WASI, or if --python command line is used,
libregrtest now writes JSON into stdout, instead of using a name
file.

* Add JsonFileType.STDOUT.
* Remove JsonFileType.FILENAME.
* test.pythoninfo logs environment variables related to
  cross-compilation and running Python on Emscripten/WASI.

gh-109276: libregrtest: WASM use filename for JSON (#109340)

On Emscripten and WASI platforms, or if --python command line option
is used, libregrtest now uses a filename for the JSON file.

Emscripten and WASI buildbot workers run the main test process with a
different Python (Linux) which spawns Emscripten/WASI processes using
the command specified in --python command line option. Passing a file
descriptor from the parent process to the child process doesn't work
in this case.

* Add JsonFile and JsonFileType classes
* Add RunTests.json_file_use_filename() method.
* Add a test in test_regrtest on the --python command line option.
* test_regrtest: add parallel=False parameter.
* Split long RunWorkers._runtest() function into sub-functions.

GH-109330: Dump and compare stats using opcode names, not numbers (GH-109335)

GH-104395: Add a link in 'Meta Information' to the docs download page (#104443)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

Update workflow permissions in require-pr-label Action (#109342)

Change the permission from `read` to `write`.

gh-106581: Honor 'always_exits' in write_components() (#109338)

I must have overlooked this when refactoring the code generator.
The Tier 1 interpreter contained a few silly things like
```
            goto resume_frame;
            STACK_SHRINK(1);
```
(and other variations, some where the unconditional `goto` was hidden in a macro).

gh-109276: test.pythoninfo gets more test.support data (#109337)

Collect data from:

* test.support
* test.support.os_helper
* test.support.socket_helper
* test.support.threading_helper

gh-109319: deprecate dis.HAVE_ARGUMENT (#109320)

gh-60283: Check for redefined test names in CI (#109161)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-109184: update traceback module doc w.r.t notes (message is no longer always at the end) (#109201)

gh-109266: Fix msvcrt.kbhit's documented return value (GH-109267)

gh-108303: Add `Lib/test/tokenizedata` to `TESTSUBDIRS` (#109314)

gh-84867: Do not load tests from TestCase and FunctionTestCase (GH-100497)

gh-109276: libregrtest: fix worker working dir (#109313)

Fix Emscripten and WASI: start the test worker process in the Python
source code directory, where 'python.js' and 'python.wasm' can be
found. Then worker_process() changes to a temporary directory created
to run tests.

* create_worker_process() uses os_helper.SAVEDCWD as cwd.
* worker_process() uses get_temp_dir() as the parent directory for
  get_work_dir().
* Don't use plural but singual for "test" in "Run 1 test ..."
  message.
* Remove unused imports.
* Add WORK_DIR_PREFIX and WORKER_WORK_DIR_PREFIX constants.

gh-109256: allocate opcode IDs for internal opcodes in their own range (#109269)

gh-109216: Fix possible memory leak in `BUILD_MAP` (#109257)

gh-108303: Move tokenize-related data to Lib/test/tokenizedata (GH-109265)

gh-109276: libregrtest: limit number workers (#109288)

Don't spawn more threads than the number of jobs: these worker
threads would never get anything to do.

* Add the number of tests in "Run ... tests in ..." message.
* Add RunTests.get_jobs() method.
* Add plural() function.
* count() uses f-string.

gh-109276: libregrtest calls random.seed() before each test (#109279)

libregrtest now calls random.seed() before running each test file
when -r/--randomize command line option is used. Moreover, it's also
called in worker processes. It should help to make tests more
deterministic. Previously, it was only called once in the main
process before running all test files and it was not called in worker
processes.

* Convert some f-strings to regular strings in test_regrtest when
  f-string is not needed.
* Remove unused all_methods variable from test_regrtest.
* Add RunTests members are now mandatory.

gh-109276: libregrtest only checks saved_test_environment() once (#109278)

There is no need to check for environment changes twice.

gh-109276: Complete test.pythoninfo (#109312)

* Enable collect_sysconfig() on Windows.
* Add sysconfig 'abs_builddir' and 'srcdir'
* Add sysconfig.is_python_build()
* Add tempfile.gettempdir()
* Remove compatiblity with Python 2.7 (print_function).

gh-109295: Skip test_generated_cases if different mount drives (#109308)

On Windows, skip the test if the current working directory and the
Python source code directory have different mount drives. It happens
if the temporary directory is on a different mount drive than the
Python source code.

Fix iter_index() to work with lists which do not support stop=None. (gh-109306)

gh-109295: Fix test_os.test_access_denied() for TEMP=cwd (#109299)

Fix test_os.test_access_denied() when the TEMP environment variable
is equal to the current working directory. Run the test using a
different filename, since self.fname already exists in this case.

gh-109295: Clean up multiprocessing in test_asyncio and test_compileall (#109298)

test_asyncio and test_compileall now clean up multiprocessing by
calling multiprocessing _cleanup_tests(): explicitly clean up
resources and stop background processes like the resource tracker.

GH-106734: Disable tab completion in pdb's multiline mode (GH-106735)