gh-129694: Add `--parallel-threads` TSAN job to CI (gh-129696)

For now, this just adds a single test suite to the TSAN CI to be run
with `--parallel-threads`.

gh-128714: Fix function object races in `__annotate__`, `__annotations__` and `__type_params__` in  free-threading build (#129016)

gh-129643: Fix `PyList_Insert` in free-threading builds (#129680)

gh-118915: Fix bad link in documentation (GH-129691)

_markupbase.py: Use a permalink for the analysis of MS-Word extensions (GH-129017)

Update _markupbase.py

gh-129005: Update _pyio.BytesIO to use bytearray.resize on write (#129702)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-86206: Change IDLE splash line (#129698)

Change splash line

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

gh-69001: Replace maintainer email in IDLE credits (#129588)

Instead, anyone requesting credit should submit a PR with contribution summary.
(Also fix typo in existing name.)

gh-129201: Use prefetch in GC mark alive phase. (gh-129203)

For the free-threaded version of the cyclic GC, restructure the "mark alive" phase to use software prefetch instructions.  This gives a speedup in most cases when the number of objects is large enough.  The prefetching is enabled conditionally based on the number of long-lived objects the GC finds.

gh-129559: Add `bytearray.resize()` (GH-129560)

Add bytearray.resize() which wraps PyByteArray_Resize.

Make negative size passed to resize exception/error rather than crash in optimized builds.

Convert change detection to a Python script (#129627)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Sviatoslav Sydorenko (Святослав Сидоренко) <wk.cvs.github@sydorenko.org.ua>

gh-127833: Docs: Add a `grammar-snippet` directive & replace `productionlist` (GH-127835)

As a first step toward aligning the grammar documentation with Python's actual
grammar, this overrides the ReST `productionlist` directive to:
- use `:` instead of the `::=` symbol
- add syntax highlighting for strings (using a Pygments highlighting class)

All links and link targets should be preserved. (Unfortunately, this reaches
into some Sphinx internals; I don't see a better way to do exactly what
Sphinx does.)

This also adds a new directive, `grammar-snippet`, which formats the snippet
almost exactly like what's in the source, modulo syntax highlighting and
keeping the backtick character to mark links to other rules.
This will allow formatting the snippets as in the grammar file
(file:///home/encukou/dev/cpython/Doc/build/html/reference/grammar.html).

The new directive is applied to two simple rules in toplevel_components.rst

---------

Co-authored-by: Blaise Pabon <blaise@gmail.com>
Co-authored-by: William Ferreira <wqferr@gmail.com>
Co-authored-by: bswck <bartoszpiotrslawecki@gmail.com>
Co-authored-by: Adam Turner <9087854+aa-turner@users.noreply.github.com>

gh-129354: Cleanup test_coroutines (#129684)

Remove unused variables.

gh-129354: Use PyErr_FormatUnraisable() function (#129523)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

Update tests:

* test_coroutines
* test_exceptions
* test_generators
* test_struct

gh-128911: Use PyImport_ImportModuleAttr() function (#129657)

* Replace PyImport_ImportModule() + PyObject_GetAttr() with
  PyImport_ImportModuleAttr().
* Replace PyImport_ImportModule() + PyObject_GetAttrString() with
  PyImport_ImportModuleAttrString().

gh-129643: fix thread safety of `PyList_SetItem` (#129644)

gh-104400: pygettext: Prepare to replace TokenEater with a NodeVisitor (#129672)

* Update the module docstring
* Move ``key_for`` inside the class
* Move ``write_pot_file`` outside the class

gh-127933: Add option to run regression tests in parallel (gh-128003)

This adds a new command line argument, `--parallel-threads` to the
regression test runner to allow it to run individual tests in multiple
threads in parallel in order to find multithreading bugs.

Some tests pass when run with `--parallel-threads`, but there's still
more work before the entire suite passes.

gh-129660: Do not use test_embed in PGO profile builds (#129661)

gh-129646: Update the locale alias mapping (#129647)

* gh-129646: Update the locale alias mapping

* Add a NEWS file.

gh-129354: Use PyErr_FormatUnraisable() function (#129656)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

gh-128772: Fix pydoc for methods with __module__ is None (GH-129177)

gh-129350: Make tests for glob with trailing slash more strict (GH-129376)

Test that the trailing pathname separator is preserved.

Multiple trailing pathname separators are only preserved if the pattern
does not contain metacharacters, otherwise only one trailing pathname
separator is preserved. This is rather an implementation detail.

Use roles :data: and :const: for referencing module variables (GH-129507)

GH-128682: Mark two more macros as escaping. (GH-129645)

Expand out SETLOCAL so that code generator can see the decref. Mark Py_CLEAR as escaping

GH-128682: Spill the stack pointer in labels, as well as instructions (GH-129618)

gh-126835: Fix reference leak in `Python/flowgrapc.::optimize_if_const_subscr`  (#129634)

gh-126835: Move constant subscript folding to CFG (#129568)

Move folding of constant subscription from AST optimizer to CFG.

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

gh-111637: Clarify MIME type recognition behavior in mimetypes documentation (GH-129546)

GH-128563: Generate `opcode = ...` in instructions that need `opcode` (GH-129608)

* Remove support for GO_TO_INSTRUCTION

GH-128682: Make `PyStackRef_CLOSE` escaping. (GH-129404)

gh-129354: Use PyErr_FormatUnraisable() function (#129524)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

Update test_sqlite3 tests.

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-101944: Clarify PyModule_AddObjectRef() documentation (#129433)

gh-129407: Clarify that a `SystemError` isn't always CPython's fault (#129410)

gh-129342: Explain how to replace Py_GetProgramName() in C (#129361)

gh-81340: Use copy_file_range in shutil.copyfile copy functions (GH-93152)

This allows the underlying file system an opportunity to optimise or avoid the actual copy.

GH-129231: Group executable JIT code in memory (GH-129232)

GH-128842: Collect JIT memory stats (GH-128941)

GH-128872: Remove unused argument from _PyCode_Quicken (GH-128873)

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

gh-105875: amend sqlite3 docstring wrt. SQLite requirement (#129599)

gh-91417: Remove PySequence_Fast() from the limited C API (#129398)

The function never worked with the limited C API. It was added by
mistake.

GH-121970: Extract ``misc_news`` into a new extension (#129577)

gh-126609: Allow translating the ``availability`` directive (#129549)

gh-115514: Fix incomplete writes after close while using ssl in asyncio(#128037)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

Revert "gh-129005: Align FileIO.readall() allocation (#129458)" (#129572)

This reverts commit f927204f64b3f8dbecec784e05bc8e25d2a78b2e.

gh-104400: Remove ``fintl.gettext`` from pygettext (#129580)

The ``fintl`` module is never installed or tested, meaning that the
fallback identity function is unconditionally used for ``_()``.
This means we can simplify, converting the docstring to a real
docstring, and converting some other strings to f-strings.

We also convert the module to UTF-8, sort imports,
and remove the history comment, which was last updated in 2002.
Consult the git history for a more accurate summary of changes.

gh-129539: Reorganize posixmodule.c header (#129558)

Add sections: Python includes, system includes, etc.

Add a comment explaining why an include is needed.

gh-119461: Restore the testSocket VSOCK skipUnless removed by PR #119465 (#129561)

Restore the skipUnless removed by #119465.

This test can only pass on virtual machines, not actual machines.

actual machines see:

```
    self.cli.connect((cid, VSOCKPORT))
    ~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^
OSError: [Errno 19] No such device
```

Reproduced on (Linux) Ubuntu 24.04.1 running 6.8.0-52-generic.

gh-126022: Replace TeX quotation marks with ``"`` in  Doc/license.rst (#129535)

gh-93649: Move _testcapi tests to specific files (#129544)

Move many functions from _testcapimodule.c into more specific files
in Modules/_testcapi/.

In moved code:

* Replace get_testerror() with PyExc_AssertionError.
* Replace raiseTestError() with
  PyErr_Format(PyExc_AssertionError, ...).

gh-126835: Move optimization of constant sequence creation from codegen to CFG (#129426)

Codegen phase has an optimization that transforms
```
LOAD_CONST x
LOAD_CONST y
LOAD_CONXT z
BUILD_LIST/BUILD_SET (3)
```
->
```
BUILD_LIST/BUILD_SET (0)
LOAD_CONST (x, y, z)
LIST_EXTEND/SET_UPDATE 1
```
This optimization has now been moved to CFG phase to make #128802 work.

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>
Co-authored-by: Yan Yanchii <yyanchiy@gmail.com>

gh-105704: Disallow square brackets (`[` and `]`) in domain names for parsed URLs (#129418)

* gh-105704: Disallow square brackets ( and ) in domain names for parsed URLs

* Use Sphinx references

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>
* Add mismatched bracket test cases, fix news format

* Add more test coverage for ports

---------

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

GH-128563: Move some labels, to simplify implementing tailcalling interpreter. (GH-129525)

gh-128509: Add `sys._is_immortal` for identifying immortal objects (#128510)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-93649: Add Modules/_testcapi/function.c file (#129521)

* Move PyFunction C API tests to a new file.
* Add Lib/test/test_capi/test_function.py.
* Move tests from test_capi.test_misc to test_capi.test_function.

gh-126108: Fix potential null pointer dereference in `PySys_AddWarnOptionUnicode` (#126118)

gh-129430: Make walking vm regions more efficient in MacOS (#129494)

gh-129354: Use PyErr_FormatUnraisable() function (#129518)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

gh-93649: Add Modules/_testcapi/type.c file (#129516)

Move PyType C API tests to a new file.

Move following tests from test_capi.test_misc to test_capi.test_type:

* BuiltinStaticTypesTests
* test_get_type_name()
* test_get_base_by_token()

gh-111178: fix UBSan failures in `Modules/_sqlite` (GH-129087)

* fix UBSan failures for `pysqlite_Blob`
* fix UBSan failures for `pysqlite_Connection`
* fix UBSan failures for `pysqlite_Cursor`
* fix UBSan failures for `pysqlite_PrepareProtocol`
* fix UBSan failures for `pysqlite_Row`
* fix UBSan failures for `pysqlite_Statement`

* suppress unused return values

gh-129502: Fix handling errors in ctypes callbacks (GH-129504)

Unlikely errors in preparing arguments for ctypes callback are now
handled in the same way as errors raised in the callback of in converting
the result of the callback -- using sys.unraisablehook() instead of
sys.excepthook() and not setting sys.last_exc and other variables.

gh-129354: Use PyErr_FormatUnraisable() function (#129514)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

gh-93649: Move PyFrame C API tests to test_capi (#129512)

* Add Lib/test/test_capi/test_frame.py file.
* Move C API tests from test_frame to test_capi.test_frame.
* Add Modules/_testcapi/frame.c file.
* Move C API tests from _testcapimodule.c to frame.c

gh-71494: string.Formatter: support keys/attributes in unnumbered fields (GH-21767)

gh-129354: Use PyErr_FormatUnraisable() function (#129511)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

GH-128563: Simplify recursion check in `_PyEval_EvalFrameDefault` (GH-129481)

Simplify recursion check in _PyEval_EvalFrameDefault

GH-128469: Revert "warn when libpython was loaded from outside the build directory (#128645)" (#129506)

GH-129386: Add `test.support.reset_code` (GH-129486)

gh-129393: Make 'sys.platform' return "freebsd" only on FreeBSD (#129394)

Make 'sys.platform' return "freebsd" only on FreeBSD without major version.

gh-127975: Avoid reusing quote types in ast.unparse if not needed (#127980)

gh-129354: Fix grammar in PyErr_FormatUnraisable() (#129475)

Replace "on verb+ing" with "while verb+ing".

Revert "gh-129005: _pyio.BufferedIO remove copy on readall (#129454)" (#129500)

This reverts commit e1c4ba928852eac0b0e0bded1c314e3e36975286.

gh-128452: fix warning in socketmodule.c (#129478)

gh-129205: Update multiprocessing.forkserver to use os.readinto() (#129425)

gh-127349: Add check for correct resizing in REPL (#127387)

gh-111495: Add PyFile tests (#129449)

Add tests for the following functions in test_capi.test_file:

* PyFile_FromFd()
* PyFile_GetLine()
* PyFile_NewStdPrinter()
* PyFile_WriteObject()
* PyFile_WriteString()
* PyObject_AsFileDescriptor()

Add Modules/_testlimitedcapi/file.c file.

Remove test_embed.StdPrinterTests which became redundant.

gh-129354: Use PyErr_FormatUnraisable() function (#129435)

Replace PyErr_WriteUnraisable() with PyErr_FormatUnraisable().

clearer error and suggestion when c-analyzer cannot read ignored.tsv (#129423)

gh-89188: Implement PyUnicode_KIND() as a function (#129412)

Implement PyUnicode_KIND() and PyUnicode_DATA() as function, in
addition to the macros with the same names. The macros rely on C bit
fields which have compiler-specific layout.

gh-129005: _pyio.BufferedIO remove copy on readall (#129454)

Slicing buf and appending chunk would always result in a copy. Commonly
in a readall() there is no already read data in buf, and the amount of
data read may be large, so the copy is expensive.

gh-128911: Add PyImport_ImportModuleAttr() function (#128912)

Add PyImport_ImportModuleAttr() and
PyImport_ImportModuleAttrString() functions.

* Add unit tests.
* Replace _PyImport_GetModuleAttr()
  with PyImport_ImportModuleAttr().
* Replace _PyImport_GetModuleAttrString()
  with PyImport_ImportModuleAttrString().
* Remove "pycore_import.h" includes, no longer needed.

gh-129005: Align FileIO.readall() allocation (#129458)

Both now use a pre-allocated buffer of length `bufsize`, fill it using
a readinto(), and have matching "expand buffer" logic.

On my machine this takes:

`./python -m test -M8g -uall test_largefile -m test_large_read -v`

from ~3.7 seconds to ~3.4 seconds.

gh-129467: Fix compiler warning in mpdecimal word_to_string() (#116346)

Turn off false-positive -Wstringop-overflow in word_to_string().

gh-129438: Update ``--enable-experimental-jit`` section with install requirements (#129450)

Add a note to the `JIT` docs that building CPython with `JIT` requires Python 3.11 or newer.

Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

gh-111178: fix UBSan failures in `Modules/_ssl/cert.c` (GH-129088)

fix UBSan failures for `PySSLCertificate`

remove type annotations from multiprocessing. (#129381)

* remove type annotations from multiprocessing.

One of them was technically invalid per typing specs... but since we're not
checking these in the stdlib today lets elide them.

https://discuss.python.org/t/static-type-annotations-in-cpython/65068/13

* use the actual comment style annotation format

Co-authored-by: 🇺🇦 Sviatoslav Sydorenko (Святослав Сидоренко) <wk.cvs.github@sydorenko.org.ua>
---------

Co-authored-by: 🇺🇦 Sviatoslav Sydorenko (Святослав Сидоренко) <wk.cvs.github@sydorenko.org.ua>

gh-129403: Fix `ValueError` messages in `asyncio.Barrier` and `threading.Barrier` (#129419)

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

tests: add test.support.venv.VirtualEnvironmentMixin (#129461)

gh-128779: Fix site venv() for system site-packages (#129184)

gh-127432: Add CI job to cross build Python (#128380)

Co-authored-by: Filipe Laíns 🇵🇸 <lains@riseup.net>

GH-127178: improve compatibility in `_sysconfig_vars_(...).json` (#128558)

GH-128469: warn when libpython was loaded from outside the build directory (#128645)

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

gh-125522: Fix bare except in `test_uuid` (#129018)

gh-126400: Add TCP socket timeout to SysLogHandler to prevent blocking (GH-126716)

Co-authored-by: Vinay Sajip <vinay_sajip@yahoo.co.uk>

GH-129386: Use symbolic constants for specialization tests (GH-129415)

gh-118761: Always lazy import `warnings` in `threading` (#129428)

gh-118761: Improve import time of `subprocess` (GH-129427)

* subprocess: lazy import signal and locale to improve module import time

gh-129236: Use `stackpointer` in free threaded GC (#129240)

The stack pointers in interpreter frames are nearly always valid now, so
use them when visiting each thread's frame. For now, don't collect
objects with deferred references in the rare case that we see a frame
with a NULL stack pointer.

gh-127119: Faster check for small ints in long_dealloc (GH-127620)

gh-129296: Fix `pyatomic.h` include paths (#129320)

Use relative includes in Include/cpython/pyatomic.h for
pyatomic_gcc.h, pyatomic_std.h and pyatomic_msc.h.

Do a similar change in Include/cpython/pythread.h for
pthread_stubs.h include.