gh-106368: Argument clinic tests: improve error message when `expect_success()` fails (#107606)

gh-107080: Fix Py_TRACE_REFS Crashes Under Isolated Subinterpreters (gh-107567)

The linked list of objects was a global variable, which broke isolation between interpreters, causing crashes. To solve this, we've moved the linked list to each interpreter.

gh-107446: Fix test_inspect.test_class_with_method_from_other_module when ran multiple times (#107451)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-107576: Ensure `__orig_bases__` are our own in `get_original_bases` (#107584)

Co-authored-by: Chris Bouchard <chris@upliftinglemma.net>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-107077: Raise SSLCertVerificationError even if the error is set via SSL_ERROR_SYSCALL (#107586)

Co-authored-by: T. Wouters <thomas@python.org>

gh-106368: Increase Argument Clinic test coverage (#107582)

Add tests for DSL parser state machine and docstring formatting

GH-107458: fix test_tools refleak (#107577)

gh-107455: ctypes: Improve error messages when converting to an incompatible type (#107456)

gh-104683: Rework Argument Clinic error handling (#107551)

Introduce ClinicError, and use it in fail(). The CLI runs main(),
catches ClinicError, formats the error message, prints to stderr
and exits with an error.

As a side effect, this refactor greatly improves the accuracy of
reported line numbers in case of error.

Also, adapt the test suite to work with ClinicError.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-107471: Fix Refleaks in test_import (gh-107569)

gh-107184 introduced a refleak in test_import.SubinterpImportTests (specifically test_singlephase_check_with_setting_and_override and test_single_init_extension_compat).  We fix it here by making sure _testsinglephase is removed from sys.modules whenever we clear the runtime's internal state for the module.

The underlying problem is strictly contained in the internal function _PyImport_ClearExtension() (AKA _testinternalcapi.clear_extension()), which is only used in tests.

(This also fixes an intermittent segfault introduced in the same place, in test_disallowed_reimport.)

gh-104683: Make Argument Clinic template strings class level members (#107556)

The motivation for this change is to clean up the output_templates()
method a little bit, as it accounts for ~10% of the lines of code in
clinic.py; removing some clutter helps readability.

Fix test_capi.test_misc when run with -R:: (#107566)

Should fix the buildbot failures.

This creates a new function each time that test is run, like Victor did for other tests.

GH-100964: Break cycles involving exception state when returning from generator (GH-107563)

gh-105481: simplify definition of pseudo ops in Lib/opcode.py (#107561)

gh-106368: Increase test coverage for Argument Clinic (#107514)

As per this commit, we've got approx. ~91% test coverage for clinic.py.

gh-107559: Argument Clinic: complain about non-ASCII chars in param docstrings (#107560)

Previously, only function docstrings were checked for non-ASCII characters.
Also, improve the warn() message.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104146: Remove dead code from Argument Clinic (#107555)

gh-104683: Argument Clinic: Refactor and simplify 'add docstring' states (#107550)

Introduce docstring_append() helper, and use it for both parameter and
function docstrings. Remove docstring fixup from
do_post_block_processing_cleanup(); instead, make sure no fixup is needed.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104683: Argument clinic: cleanup `DLSParser` `state_foo` methods (#107543)

Clarify `Self` interaction with subclasses (#107511)

gh-104683: Argument clinic: remove the `LandMine` class (#107541)

gh-105481: combine regen-opcode-targets with regen-opcode to avoid calculating the specialized opcodes in two places (#107540)

gh-105481: the ENABLE_SPECIALIZATION flag does not need to be generated by the build script, or exposed in opcode.py (#107534)

gh-107467: Restructure Argument Clinic command-line interface (#107469)

- Use ArgumentParser.error() to handle CLI errors
- Put the entire CLI in main()
- Rework ClinicExternalTest to call main() instead of using subprocesses

Co-authored-by: AlexWaygood <alex.waygood@gmail.com>

gh-106092: Fix use-after-free crash in frame_dealloc (#106875)

It was possible for the trashcan to delay the deallocation of a
PyFrameObject until after its corresponding _PyInterpreterFrame has
already been freed.  So frame_dealloc needs to avoid dereferencing the
f_frame pointer unless it first checks that the pointer still points
to the interpreter frame within the frame object.

Signed-off-by: Anders Kaseorg <andersk@mit.edu>

Remove newlines from bug template (#107525)

gh-89013: Improve the performance of methodcaller (lazy version) (gh-107201)

gh-99113: Add a What's New Entry for PEP 684 (gh-107520)

gh-105766: Document that Custom Allocators Must Be Thread-Safe (gh-107519)

gh-107306: Add a Doc Entry for Py_mod_multiple_interpreters (#107403)

It was added in 3.12 for PEP 684 (per-interpreter GIL).

gh-107507: Replace 'The goals of Argument Clinic' with a summary (#107508)

Summarise the goals of Argument Clinic in a single sentence.
Mention that Argument Clinic was introduced with PEP-436.

Use tstate->interp to get the interpreter state in bytecodes.c (GH-107506)

GH-104584: Fix incorrect uoperands (GH-107513)

gh-106762: Add news for `EnumMeta.__getattr__` removal (GH-107466)

GH-104909: Move unused cache entries from uops to macros (#107444)

There's no need to use a dummy uop to skip unused cache entries. The macro syntax lets you write `unused/1` instead.

Similarly, move `unused/5` from op `_LOAD_ATTR_INSTANCE_VALUE` to macro `LOAD_ATTR_INSTANCE_VALUE`.

gh-105578: Document that `AnyStr` is deprecated in py313 (#107116)

It will not be removed until Python 3.18.

gh-105578: Add more usage examples to `typing.AnyStr` docs (#107045)

``typing.AnyStr`` has different semantics to ``str | bytes``, which often leads to user confusion

gh-87799: Improve the textual representation of IPv4-mapped IPv6 addresses (#29345)

Represent IPv4-mapped IPv6 address as x:x:x:x:x:x:d.d.d.d,
where the 'x's are the hexadecimal values
of the six high-order 16-bit pieces of the address,
and the 'd's are the decimal values
of the four low-order 8-bit pieces of the address
(standard IPv4 representation).

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

gh-105751: Remove obsolete `object` base class in some ctypes tests (#107460)

no-issue: Fix typo in import.c (gh-107498)

gh-106368: Add test for Argument Clinic misbehaving custom converter_init() (#107496)

gh-104280: Add test cases for DTrace probes (#107125)

gh-46376: Return existing pointer when possible in ctypes (#107131)

Update macOS installer screens to 3.13. (GH-107475)

gh-99079: Update macOS installer to use OpenSSL 3.0.9. (GH-107474)

gh-107427: Update the description of UNPACK_SEQUENCE (gh-107429)

gh-106263: Fix segfault in `signaldict_repr`  in `_decimal` module (#106270)

Co-authored-by: sunmy2019 <59365878+sunmy2019@users.noreply.github.com>

gh-104683: Argument clinic: pass `clinic` as a parameter where possible (#107435)

gh-104683: Argument clinic: Make the `filename` parameter to `Clinic` required (#107439)

add Kumar Aditya as CODEOWNER for import.c (#107441)

Fix the documentation for PyCode_New add `qualname` parameter (#107186)

gh-107422: Remove outdated `TypedDict` example from typing docs (#107436)

Improve the GitHub issue templates (#107150)

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

gh-104050: Argument clinic: enable mypy's `--warn-return-any` setting (#107405)

gh-107369: optimize textwrap.indent() (#107374)

gh-101100: Sphinx warnings: pick the low hanging fruits (GH-107386)

gh-107091: Fix some uses of :func: role (GH-107378)

:c:func: or :c:macro: should be used instead.

gh-107089: Improve Shelf.clear method performance (gh-107090)

gh-106881: Check for linux/limits.h before including it (#107397)

* Check for linux/limits.h before including it

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-107307: Update the importlib Docs for PEP 684 (gh-107400)

gh-105699: Use a _Py_hashtable_t for the PyModuleDef Cache (gh-106974)

This fixes a crasher due to a race condition, triggered infrequently when two isolated (own GIL) subinterpreters simultaneously initialize their sys or builtins modules.  The crash happened due the combination of the "detached" thread state we were using and the "last holder" logic we use for the GIL.  It turns out it's tricky to use the same thread state for different threads.  Who could have guessed?

We solve the problem by eliminating the one object we were still sharing between interpreters.  We replace it with a low-level hashtable, using the "raw" allocator to avoid tying it to the main interpreter.

We also remove the accommodations for "detached" thread states, which were a dubious idea to start with.

gh-104050: Argument clinic: complete type annotations (#107399)

gh-107305: Update the C-API Docs for PEP 684 (gh-107324)

gh-106368: Argument clinic: Fix minor bug in `state_modulename_name` (#107387)

gh-104629: Build _testclinic extension module on Windows (#104723)

GH-101291: Add warning to "what's new" that `PyLongObject` internals have changed. (GH-107388)

Fix typo in comment (gh-107389)

gh-102509: Start initializing `ob_digit` of `_PyLongValue` (GH-102510)

GH-104580: Put `eval_breaker` back at the start of the interpreter state. (GH-107383)

gh-107091: Fix some uses of :const: role (GH-107379)

It is for references, not for literals.

gh-106078: Isolate `decimal` module (#107287)

gh-106723: forward -Xfrozen_modules option to spawned process interpreters (#106724)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-106368: Argument clinic tests: improve failure message when tests in `ClinicExternalTests` fail (#107364)

gh-104683: Argument clinic: cleanup `state_modulename_name()` (#107340)

gh-106931: Fix the WASM Buildbots (gh-107362)

Skip subinterpreter tests when not supported.

gh-101524: Only Use Public C-API in the _xxsubinterpreters Module (gh-107359)

The _xxsubinterpreters module should not rely on internal API.  Some of the functions it uses were recently moved there however.  Here we move them back (and expose them properly).

gh-104621: Check for Incompatible Extensions in import_find_extension() (gh-107184)

This fixes a bug where incompatible modules could still be imported if attempted multiple times.

gh-106931: Intern Statically Allocated Strings Globally (gh-107272)

We tried this before with a dict and for all interned strings.  That ran into problems due to interpreter isolation.  However, exclusively using a per-interpreter cache caused some inconsistency that can eliminate the benefit of interning.  Here we circle back to using a global cache, but only for statically allocated strings.  We also use a more-basic _Py_hashtable_t for that global cache instead of a dict.

Ideally we would only have the global cache, but the optional isolation of each interpreter's allocator means that a non-static string object must not outlive its interpreter.  Thus we would have to store a copy of each such interned string in the global cache, tied to the main interpreter.

gh-105699: Disable the Interpreters Stress Tests (gh-107354)

The two tests are crashing periodically in CI and on buildbots.  I suspect the problem is in the _xxsubinterpreters module.
 Regardless, I'm disabling the tests temporarily, to reduce the noise as we approach 3.12rc1.  I'll be investigating the crashes separately.

gh-104432: Use `memcpy()` to avoid misaligned loads (#104433)

Fix potential unaligned memory access on C APIs involving returned sequences
of `char *` pointers within the :mod:`grp` and :mod:`socket` modules. These
were revealed using a ``-fsaniziter=alignment`` build on ARM macOS.

gh-107298: Fix yet more Sphinx warnings in the C API doc (GH-107345)

GH-106898: Add the exception as an argument to the `PY_UNWIND` event callback function. (GH-107347)

gh-105268: _PyGC_FINALIZED() removal is already documented in 3.12 (#107350)

gh-107196: Remove _PyArg_VaParseTupleAndKeywordsFast() function (#107197)

Remove the private _PyArg_VaParseTupleAndKeywordsFast() function: it
is no longer used.

GH-106895: Raise a `ValueError` when attempting to disable events that cannot be disabled. (GH-107337)

gh-105481: remove dependency of _inline_cache_entries on opname (#107339)

GH-106897: Add `RERAISE` event to `sys.monitoring`. (GH-107291)

* Ensures that exception handling events are balanced. Each [re]raise event has a matching unwind/handled event.

Bump some docs dependencies to resolve a Dependabot security alert (#107341)

gh-103731: Remove unneeded checks for TCL_WIDE_INT_TYPE (GH-103732)

gh-106996: Rewrite turtle explanation (#107244)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

remove outdated `_asyncio` globals from globals-to-fix.tsv (#107334)

gh-107279 Add `<stddef.h>` to `Modules/zlibmodule.c` to fix failing builds (#107280)

gh-107298: Docs: add targets for some :c:member: and :c:macro: references (GH-107316)

Add targets for PyStructSequence_Desc and PyStructSequence_Field members
and macros like Py_EQ.
Fix target for Py_RETURN_RICHCOMPARE.

gh-107091: Fix some uses of :attr: role (GH-107318)

Fix also formatting of PyMethodDef members.

gh-107298: Fix more Sphinx warnings in the C API doc (#107329)

Declare the following functions as macros, since they are actually
macros. It avoids a warning on "TYPE" or "macro" argument.

* PyMem_New()
* PyMem_Resize()
* PyModule_AddIntMacro()
* PyModule_AddStringMacro()
* PyObject_GC_New()
* PyObject_GC_NewVar()
* PyObject_New()
* PyObject_NewVar()

Add C standard C types to nitpick_ignore in Doc/conf.py:

* int64_t
* uint64_t
* uintptr_t

No longer ignore non existing "__int" type in nitpick_ignore.

Update Doc/tools/.nitignore

gh-107298: Fix Sphinx warnings in the C API doc (#107302)

* Update Doc/tools/.nitignore
* Fix BufferedIOBase.write() link in buffer.rst

gh-106149: fix comment on stackdepth of generators (#107321)

Docs: Argument Clinic: Restructure "Basic concepts and usage" (#106981)

Split "Basic concepts and usage" into:

- Reference
  - Terminology
  - CLI reference

- Background
  - Basic concepts

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

Docs: Remove the numbered steps from the Argument Clinic tutorial (#107203)

Instead, order the tutorial as one body of prose, making it easier to
align the tutorial according to Diátaxis principles.

gh-104050: Argument clinic: Annotate `str_converter_key()` (#107294)