gh-87799: Improve the textual representation of IPv4-mapped IPv6 addresses (#29345)

Represent IPv4-mapped IPv6 address as x:x:x:x:x:x:d.d.d.d,
where the 'x's are the hexadecimal values
of the six high-order 16-bit pieces of the address,
and the 'd's are the decimal values
of the four low-order 8-bit pieces of the address
(standard IPv4 representation).

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

gh-105751: Remove obsolete `object` base class in some ctypes tests (#107460)

no-issue: Fix typo in import.c (gh-107498)

gh-106368: Add test for Argument Clinic misbehaving custom converter_init() (#107496)

gh-104280: Add test cases for DTrace probes (#107125)

gh-46376: Return existing pointer when possible in ctypes (#107131)

Update macOS installer screens to 3.13. (GH-107475)

gh-99079: Update macOS installer to use OpenSSL 3.0.9. (GH-107474)

gh-107427: Update the description of UNPACK_SEQUENCE (gh-107429)

gh-106263: Fix segfault in `signaldict_repr`  in `_decimal` module (#106270)

Co-authored-by: sunmy2019 <59365878+sunmy2019@users.noreply.github.com>

gh-104683: Argument clinic: pass `clinic` as a parameter where possible (#107435)

gh-104683: Argument clinic: Make the `filename` parameter to `Clinic` required (#107439)

add Kumar Aditya as CODEOWNER for import.c (#107441)

Fix the documentation for PyCode_New add `qualname` parameter (#107186)

gh-107422: Remove outdated `TypedDict` example from typing docs (#107436)

Improve the GitHub issue templates (#107150)

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

gh-104050: Argument clinic: enable mypy's `--warn-return-any` setting (#107405)

gh-107369: optimize textwrap.indent() (#107374)

gh-101100: Sphinx warnings: pick the low hanging fruits (GH-107386)

gh-107091: Fix some uses of :func: role (GH-107378)

:c:func: or :c:macro: should be used instead.

gh-107089: Improve Shelf.clear method performance (gh-107090)

gh-106881: Check for linux/limits.h before including it (#107397)

* Check for linux/limits.h before including it

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-107307: Update the importlib Docs for PEP 684 (gh-107400)

gh-105699: Use a _Py_hashtable_t for the PyModuleDef Cache (gh-106974)

This fixes a crasher due to a race condition, triggered infrequently when two isolated (own GIL) subinterpreters simultaneously initialize their sys or builtins modules.  The crash happened due the combination of the "detached" thread state we were using and the "last holder" logic we use for the GIL.  It turns out it's tricky to use the same thread state for different threads.  Who could have guessed?

We solve the problem by eliminating the one object we were still sharing between interpreters.  We replace it with a low-level hashtable, using the "raw" allocator to avoid tying it to the main interpreter.

We also remove the accommodations for "detached" thread states, which were a dubious idea to start with.

gh-104050: Argument clinic: complete type annotations (#107399)

gh-107305: Update the C-API Docs for PEP 684 (gh-107324)

gh-106368: Argument clinic: Fix minor bug in `state_modulename_name` (#107387)

gh-104629: Build _testclinic extension module on Windows (#104723)

GH-101291: Add warning to "what's new" that `PyLongObject` internals have changed. (GH-107388)

Fix typo in comment (gh-107389)

gh-102509: Start initializing `ob_digit` of `_PyLongValue` (GH-102510)

GH-104580: Put `eval_breaker` back at the start of the interpreter state. (GH-107383)

gh-107091: Fix some uses of :const: role (GH-107379)

It is for references, not for literals.

gh-106078: Isolate `decimal` module (#107287)

gh-106723: forward -Xfrozen_modules option to spawned process interpreters (#106724)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-106368: Argument clinic tests: improve failure message when tests in `ClinicExternalTests` fail (#107364)

gh-104683: Argument clinic: cleanup `state_modulename_name()` (#107340)

gh-106931: Fix the WASM Buildbots (gh-107362)

Skip subinterpreter tests when not supported.

gh-101524: Only Use Public C-API in the _xxsubinterpreters Module (gh-107359)

The _xxsubinterpreters module should not rely on internal API.  Some of the functions it uses were recently moved there however.  Here we move them back (and expose them properly).

gh-104621: Check for Incompatible Extensions in import_find_extension() (gh-107184)

This fixes a bug where incompatible modules could still be imported if attempted multiple times.

gh-106931: Intern Statically Allocated Strings Globally (gh-107272)

We tried this before with a dict and for all interned strings.  That ran into problems due to interpreter isolation.  However, exclusively using a per-interpreter cache caused some inconsistency that can eliminate the benefit of interning.  Here we circle back to using a global cache, but only for statically allocated strings.  We also use a more-basic _Py_hashtable_t for that global cache instead of a dict.

Ideally we would only have the global cache, but the optional isolation of each interpreter's allocator means that a non-static string object must not outlive its interpreter.  Thus we would have to store a copy of each such interned string in the global cache, tied to the main interpreter.

gh-105699: Disable the Interpreters Stress Tests (gh-107354)

The two tests are crashing periodically in CI and on buildbots.  I suspect the problem is in the _xxsubinterpreters module.
 Regardless, I'm disabling the tests temporarily, to reduce the noise as we approach 3.12rc1.  I'll be investigating the crashes separately.

gh-104432: Use `memcpy()` to avoid misaligned loads (#104433)

Fix potential unaligned memory access on C APIs involving returned sequences
of `char *` pointers within the :mod:`grp` and :mod:`socket` modules. These
were revealed using a ``-fsaniziter=alignment`` build on ARM macOS.

gh-107298: Fix yet more Sphinx warnings in the C API doc (GH-107345)

GH-106898: Add the exception as an argument to the `PY_UNWIND` event callback function. (GH-107347)

gh-105268: _PyGC_FINALIZED() removal is already documented in 3.12 (#107350)

gh-107196: Remove _PyArg_VaParseTupleAndKeywordsFast() function (#107197)

Remove the private _PyArg_VaParseTupleAndKeywordsFast() function: it
is no longer used.

GH-106895: Raise a `ValueError` when attempting to disable events that cannot be disabled. (GH-107337)

gh-105481: remove dependency of _inline_cache_entries on opname (#107339)

GH-106897: Add `RERAISE` event to `sys.monitoring`. (GH-107291)

* Ensures that exception handling events are balanced. Each [re]raise event has a matching unwind/handled event.

Bump some docs dependencies to resolve a Dependabot security alert (#107341)

gh-103731: Remove unneeded checks for TCL_WIDE_INT_TYPE (GH-103732)

gh-106996: Rewrite turtle explanation (#107244)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

remove outdated `_asyncio` globals from globals-to-fix.tsv (#107334)

gh-107279 Add `<stddef.h>` to `Modules/zlibmodule.c` to fix failing builds (#107280)

gh-107298: Docs: add targets for some :c:member: and :c:macro: references (GH-107316)

Add targets for PyStructSequence_Desc and PyStructSequence_Field members
and macros like Py_EQ.
Fix target for Py_RETURN_RICHCOMPARE.

gh-107091: Fix some uses of :attr: role (GH-107318)

Fix also formatting of PyMethodDef members.

gh-107298: Fix more Sphinx warnings in the C API doc (#107329)

Declare the following functions as macros, since they are actually
macros. It avoids a warning on "TYPE" or "macro" argument.

* PyMem_New()
* PyMem_Resize()
* PyModule_AddIntMacro()
* PyModule_AddStringMacro()
* PyObject_GC_New()
* PyObject_GC_NewVar()
* PyObject_New()
* PyObject_NewVar()

Add C standard C types to nitpick_ignore in Doc/conf.py:

* int64_t
* uint64_t
* uintptr_t

No longer ignore non existing "__int" type in nitpick_ignore.

Update Doc/tools/.nitignore

gh-107298: Fix Sphinx warnings in the C API doc (#107302)

* Update Doc/tools/.nitignore
* Fix BufferedIOBase.write() link in buffer.rst

gh-106149: fix comment on stackdepth of generators (#107321)

Docs: Argument Clinic: Restructure "Basic concepts and usage" (#106981)

Split "Basic concepts and usage" into:

- Reference
  - Terminology
  - CLI reference

- Background
  - Basic concepts

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

Docs: Remove the numbered steps from the Argument Clinic tutorial (#107203)

Instead, order the tutorial as one body of prose, making it easier to
align the tutorial according to Diátaxis principles.

gh-104050: Argument clinic: Annotate `str_converter_key()` (#107294)

gh-104050: Argument clinic: Complete `get_destination_buffer` annotations (#107293)

gh-105002: [pathlib] Fix relative_to with walk_up=True using ".." (#107014)

It makes sense to raise an Error because ".." can not
be resolved and the current working directory is unknown.

gh-107091: Fix some uses of :c:type: role (GH-107138)

gh-107091: Fix some uses of :c:member: role (GH-107129)

Document that `os.link()` is not available on Emscripten (GH-104822)

gh-107298: Fix doc references to undocumented modules (#107300)

Update also Doc/tools/.nitignore.

gh-106948: Update documentation nitpick_ignore for c:identifer domain (#107295)

Update the nitpick_ignore of the documentation configuration to fix
Sphinx warnings about standard C types when declaring functions with
the "c:function" markups.

Copy standard C types declared in the "c:type" domain to the
"c:identifier" domain, since "c:function" markup looks for types in
the "c:identifier" domain.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-107015: Remove async_hacks from the tokenizer (#107018)

gh-106149: Simplify stack depth calculation. Replace asserts by exceptions. (#107255)

gh-104683: Argument Clinic: Make most arguments to `Class` and `Function` required (#107289)

gh-104050: Argument clinic: improve typing around `parse_arg()` methods (#107288)

gh-103735: Tkinter: remove handling for uninteresting "procbody" Tcl value type (GH-103736)

gh-106368: Increase Argument Clinic CLI test coverage (#107277)

gh-104050: Argument clinic: annotate `post_parsing()` and `cleanup()` (#107225)

gh-106939: document ShareableList nul-strip quirk. (#107266)

* gh-106939: document ShareableList nul-strip quirk.
* Mention the `int` size constraint.

gh-104050: Argument clinic: more misc typing improvements (#107264)

gh-106185: Deduplicate `CPythonTracebackErrorCaretTests` in `test_traceback` (GH-106187)

gh-107082: Fix instruction size computation for ENTER_EXECUTOR (#107256)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-107226: PyModule_AddObjectRef() should only be in the limited API 3.10 (GH-107227)

gh-106350: Tkinter: do not ignore return value of `mp_init()` (GH-106351)

gh-106004: PyDict_GetItemRef() should only be in the limited API 3.13 (GH-107229)

gh-107249: Implement Py_UNUSED() for MSVC (#107250)

Fix warnings C4100 in Py_UNUSED() when Python is built with "cl /W4".

Example with this function included by Python.h:

    static inline unsigned int
    PyUnicode_IS_READY(PyObject* Py_UNUSED(op))
    { return 1; }

Without this change, building a C program with "cl /W4" which just
includes Python.h emits the warning:

    Include\cpython/unicodeobject.h(199):
    warning C4100: '_unused_op': unreferenced formal parameter

This change fix this warning.

gh-106739: Add `rtype_cache` to `warnings.warn` message when leaked objects found (#106740)

Adding the `rtype_cache` to the `warnings.warn` message improves the
previous, somewhat vague message from

```
/Users/username/cpython/Lib/multiprocessing/resource_tracker.py:224: UserWarning: resource_tracker: There appear to be 6 leaked semaphore objects to clean up at shutdown
```

to

```
/Users/username/cpython/Lib/multiprocessing/resource_tracker.py:224: UserWarning: resource_tracker: There appear to be 6 leaked semaphore objects to clean up at shutdown: {'/mp-yor5cvj8', '/mp-10jx8eqr', '/mp-eobsx9tt', '/mp-0lml23vl', '/mp-9dgtsa_m', '/mp-frntyv4s'}
```

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

Remove unused internal _PyImport_GetModuleId() function (#107235)

gh-105059: Fix MSCV compiler warning on PyObject union (#107239)

Use pragma to ignore the MSCV compiler warning on the PyObject
nameless union.

gh-106869: Use new PyMemberDef constant names (#106871)

* Remove '#include "structmember.h"'.
* If needed, add <stddef.h> to get offsetof() function.
* Update Parser/asdl_c.py to regenerate Python/Python-ast.c.
* Replace:

  * T_SHORT => Py_T_SHORT
  * T_INT => Py_T_INT
  * T_LONG => Py_T_LONG
  * T_FLOAT => Py_T_FLOAT
  * T_DOUBLE => Py_T_DOUBLE
  * T_STRING => Py_T_STRING
  * T_OBJECT => _Py_T_OBJECT
  * T_CHAR => Py_T_CHAR
  * T_BYTE => Py_T_BYTE
  * T_UBYTE => Py_T_UBYTE
  * T_USHORT => Py_T_USHORT
  * T_UINT => Py_T_UINT
  * T_ULONG => Py_T_ULONG
  * T_STRING_INPLACE => Py_T_STRING_INPLACE
  * T_BOOL => Py_T_BOOL
  * T_OBJECT_EX => Py_T_OBJECT_EX
  * T_LONGLONG => Py_T_LONGLONG
  * T_ULONGLONG => Py_T_ULONGLONG
  * T_PYSSIZET => Py_T_PYSSIZET
  * T_NONE => _Py_T_NONE
  * READONLY => Py_READONLY
  * PY_AUDIT_READ => Py_AUDIT_READ
  * READ_RESTRICTED => Py_AUDIT_READ
  * PY_WRITE_RESTRICTED => _Py_WRITE_RESTRICTED
  * RESTRICTED => (READ_RESTRICTED | _Py_WRITE_RESTRICTED)

gh-107237: Fix test_udp_reconnection() of test_logging (#107238)

test_logging: Fix test_udp_reconnection() by increasing the timeout
from 100 ms to 5 minutes (LONG_TIMEOUT).

Replace also blocking wait() with wait(LONG_TIMEOUT) in
test_output() to prevent the test to hang.

gh-105059: Use GCC/clang extension for PyObject union (#107232)

Anonymous union is new in C11. To prevent compiler warning
when using -pedantic compiler option, use Clang and GCC
extension on C99 and older.

gh-106996: Add a how-to section to the turtle documentation (#107153)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-86493: Modernize modules initialization code (GH-106858)

Use PyModule_Add() or PyModule_AddObjectRef() instead of soft deprecated
PyModule_AddObject().

gh-106774: Update bundled pip version to 23.2.1 (#106775)

* Update bundled pip version to 23.2.1

gh-104050: Argument clinic: more misc typing coverage improvements (#107210)

gh-104050: Argument clinic: improve typing around adding C converters (#107209)

gh-107211: No longer export internal variables (#107218)

No longer export these 5 internal C API variables:

* _PyBufferWrapper_Type
* _PyImport_FrozenBootstrap
* _PyImport_FrozenStdlib
* _PyImport_FrozenTest
* _Py_SwappedOp

Fix the definition of these internal functions, replace PyAPI_DATA()
with PyAPI_FUNC():

* _PyImport_ClearExtension()
* _PyObject_IsFreed()
* _PyThreadState_GetCurrent()

gh-107211: No longer export internal functions (4) (#107217)

No longer export these 2 internal C API functions:

* _PyEval_SignalAsyncExc()
* _PyEval_SignalReceived()

Add also comments explaining why some internal functions have to be
exported, and update existing comments.

gh-107211: No longer export internal functions (3) (#107215)

No longer export these 14 internal C API functions:

* _PySys_Audit()
* _PySys_SetAttr()
* _PyTraceBack_FromFrame()
* _PyTraceBack_Print_Indented()
* _PyUnicode_FormatAdvancedWriter()
* _PyUnicode_ScanIdentifier()
* _PyWarnings_Init()
* _Py_DumpASCII()
* _Py_DumpDecimal()
* _Py_DumpHexadecimal()
* _Py_DumpTraceback()
* _Py_DumpTracebackThreads()
* _Py_WriteIndent()
* _Py_WriteIndentedMargin()

gh-107211: No longer export internal functions (2) (#107214)

No longer export these 43 internal C API functions:

* _PyDict_CheckConsistency()
* _PyErr_ChainStackItem()
* _PyErr_CheckSignals()
* _PyErr_CheckSignalsTstate()
* _PyErr_Clear()
* _PyErr_ExceptionMatches()
* _PyErr_Fetch()
* _PyErr_Format()
* _PyErr_FormatFromCauseTstate()
* _PyErr_GetExcInfo()
* _PyErr_GetHandledException()
* _PyErr_GetTopmostException()
* _PyErr_NoMemory()
* _PyErr_NormalizeException()
* _PyErr_Restore()
* _PyErr_SetHandledException()
* _PyErr_SetNone()
* _PyErr_SetObject()
* _PyErr_SetString()
* _PyErr_StackItemToExcInfoTuple()
* _PyExc_CreateExceptionGroup()
* _PyExc_PrepReraiseStar()
* _PyException_AddNote()
* _PyInterpreterState_Enable()
* _PyLong_FormatAdvancedWriter()
* _PyLong_FormatBytesWriter()
* _PyLong_FormatWriter()
* _PyMem_GetAllocatorName()
* _PyMem_SetDefaultAllocator()
* _PyMem_SetupAllocators()
* _PyOS_InterruptOccurred()
* _PyRuntimeState_Fini()
* _PyRuntimeState_Init()
* _PyRuntime_Finalize()
* _PyRuntime_Initialize()
* _PyThreadState_Bind()
* _PyThreadState_DeleteExcept()
* _PyThreadState_New()
* _PyThreadState_Swap()
* _PyType_CheckConsistency()
* _PyUnicodeTranslateError_Create()
* _Py_DumpExtensionModules()
* _Py_FatalErrorFormat()