gh-110686: Test pattern matching with `runtime_checkable` protocols (#110687)

gh-101100: Fix Sphinx warning in library/http.cookies.rst (#112908)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-109980: Fix test_tarfile_vs_tar on macOS (#112905)

On recentish macOS versions the system tar
command includes system metadata (ACLs, extended attributes
and resource forks) in the tar archive, which
shutil.make_archive will not do. This can cause
spurious test failures.

Docs: Use 'f-strings' as header (#112888)

IDLE: Tweak iomenu.IOBinding.maybesave  (#112914)

Add docstring, use f-string, simplify code.

GH-112906: Fix performance regression in pathlib path initialisation (#112907)

This was caused by 76929fdeeb, specifically its use of `super()` and its
packing/unpacking `*args`.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-101100: Improve documentation of `TracebackType` attributes (#112884)

gh-101100: Fix Sphinx nitpicks in `library/tempfile.rst` (#112886)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-112867: fix for WITH_PYMALLOC_RADIX_TREE=0 (GH-112885)

The _obmalloc_usage structure is only defined if the obmalloc radix tree
is enabled.

gh-110109: Fix installed buildbots now `pathlib` is a package (#112901)

GH-110109: Move pathlib ABCs to new `pathlib._abc` module. (#112881)

Move `_PurePathBase` and `_PathBase` to a new `pathlib._abc` module, and
drop the underscores from the class names.

Tests are mostly left alone in this commit, but they'll be similarly split
in a subsequent commit.

The `pathlib._abc` module will be published as an independent PyPI package
(similar to how `zipfile._path` is published as `zipp`), to be refined
and stabilised prior to its possible addition to the standard library.

gh-112720: Move instruction formatting from the dis.Instruction class to a new class dis.InstructionFormatter. Add the ArgResolver class. (#112722)

gh-112334: Regression test that vfork is used when expected. (#112734)

Regression test that vfork is used when expected by subprocess.

This is written integration test style, it uses strace if it is present and appears to work to find out what system call actually gets used in different scenarios.

Test coverage is added for the default behavior and that of each of the specific arguments that must disable the use of vfork.  obviously not an entire test matrix, but it covers the most important aspects.

If there are ever issues with this test being flaky or failing on new platforms, rather than try and adapt it for all possible platforms, feel free to narrow the range it gets tested on when appropriate. That is not likely to reduce coverage.

gh-112758: Updated pathlib documentation for PurePath.match (#112814)

gh-112540: Support zero inputs in geometric_mean() (gh-112880)

GH-110109: Add `pathlib._PurePathBase` (#110670)

Add private `pathlib._PurePathBase` class: a private superclass of both `PurePath` and `_PathBase`. Unlike `PurePath`, it does not define any of these special methods: `__fspath__`, `__bytes__`, `__reduce__`, `__hash__`, `__eq__`, `__lt__`, `__le__`, `__gt__`, `__ge__`. Its initializer and path joining methods accept only strings, not os.PathLike objects more broadly.

This is important for supporting *virtual paths*: user subclasses of `_PathBase` that provide access to archive files, FTP servers, etc. In these classes, the above methods should be implemented by users only as appropriate, with due consideration for the hash/equality of any backing objects, such as file objects or sockets.

gh-112278: In _wmi, treat initialization timeout separately from connection timeout (GH-112878)

gh-112779: Check 1-byte atomics in configure (gh-112819)

gh-112535: Update _Py_ThreadId() to support s390/s390x (gh-112751)

gh-112302: Annotate SBOM file as generated in .gitattributes (#112854)

Annotate SBOM file as generated in .gitattributes

gh-101100: Improve documentation for attributes on instance methods (#112832)

gh-101100: Fix Sphinx nits in `library/contextlib.rst` (#112870)

gh-101100: Fix Sphinx nitpicks in `library/shelve.rst` (#112836)

GH-111485: Factor out opcode ID generator from the main cases generator. (GH-112831)

gh-110820: Make sure processor specific defines are correct for Universal 2 build on macOS (#112828)

* gh-110820: Make sure processor specific defines are correct for Universal 2 build on macOS

A number of processor specific defines are different for x86-64 and
arm64, and need to be adjusted in pymacconfig.h.

* remove debug stuf

Add a versionchanged directive for gh-94692 (GH-112846)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

GH-112675: Move path joining tests into `test_posixpath` and `test_ntpath` (#112676)

In `test_pathlib`, the `check_drive_root_parts` test methods evaluated
both joining and parsing/normalisation of paths. This dates from a time
when pathlib implemented both functions itself, but nowadays path joining
is done with `posixpath.join()` and `ntpath.join()`.

This commit moves the joining-related test cases into `test_posixpath` and
`test_ntpath`.

gh-101100: Silence Sphinx warnings when `ntpath` or `posixpath` are referenced (#112833)

gh-112826: Add a "What's New" Entry About _thread._is_main_interpreter (gh-112853)

As of gh-112661, the threading module expects the _thread module to have a _is_main_interpreter(), which is used in the internal threading._shutdown().  This change causes a problem for anyone that replaces the _thread module with a custom one (only if they don't provide _is_main_interpreter()).  They need to be sure to add it for 3.13+, thus this PR is adding a note in "What's New".

This also forward-ports the "What's New" entry from 3.12 (gh-112850).  Note that we do not also forward-port the fix in that PR.  The fix is there only due to a regression from 3.12.0. There is no regression in 3.13+.

gh-111924: Use PyMutex for Runtime-global Locks. (gh-112207)

This replaces some usages of PyThread_type_lock with PyMutex, which does not require memory allocation to initialize.

This simplifies some of the runtime initialization and is also one step towards avoiding changing the default raw memory allocator during initialize/finalization, which can be non-thread-safe in some circumstances.

gh-112538: Add internal-only _PyThreadStateImpl "wrapper" for PyThreadState (gh-112560)

Every PyThreadState instance is now actually a _PyThreadStateImpl.
It is safe to cast from `PyThreadState*` to `_PyThreadStateImpl*` and back.
The _PyThreadStateImpl will contain fields that we do not want to expose
in the public C API.

gh-110017: Disable test_signal.test_stress_modifying_handlers on macOS (#112834)

Test test_stress_modifying_handlers in test_signal can crash
the interpreter due to a bug in macOS. Filed as FB13453490
with Apple.

gh-112278: Disable WMI queries on Windows after they time out (GH-112658)

gh-79325: Fix recursion error in TemporaryDirectory cleanup on Windows (GH-112762)

gh-87319: Simplify TemporaryDirectory cleanup using os.path.isjunction() (GH-112791)

gh-91133: tempfile.TemporaryDirectory: fix symlink bug in cleanup (GH-99930)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112302: Add Software Bill-of-Materials (SBOM) tracking for dependencies (#112303)

gh-111962: Make dtoa thread-safe in `--disable-gil` builds. (#112049)

This updates `dtoa.c` to avoid using the Bigint free-list in --disable-gil builds and
to pre-computes the needed powers of 5 during interpreter initialization.

* gh-111962: Make dtoa thread-safe in `--disable-gil` builds.

This avoids using the Bigint free-list in `--disable-gil` builds
and pre-computes the needed powers of 5 during interpreter initialization.

* Fix size of cached powers of 5 array.

We need the powers of 5 up to 5**512 because we only jump straight to
underflow when the exponent is less than -512 (or larger than 308).

* Rename Py_NOGIL to Py_GIL_DISABLED

* Changes from review

* Fix assertion placement

gh-110190: Temporarily skip new test introduced in gh-112604 on PPC64LE (#112818)

bpo-42519: Remove outdated sentence in comment (#112822)

Update objimpl.h

gh-112125: Fix None.__ne__(None) returning NotImplemented instead of False (#112504)

GH-111485: Separate out parsing, analysis and code-gen phases of tier 1 code generator (GH-112299)

gh-102980: Redirect output of pdb's `interact` command, add tests and improve docs (#111194)

gh-51944: Add missing macOS constants to termios (#112823)

* gh-51944: Add some macOS constants to termios

This changeset adds all public constants in <termio.h>
and <sys/termios.h> on macOS that weren't present
already.

Based on the macOS 14.2 SDK

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-74616: Raise ValueError in case of null character in input prompt (GH-1738)

If the input prompt to the builtin input function on terminal has any null
character, then raise ValueError instead of silently truncating it.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112660: Do not clear arbitrary errors on import (GH-112661)

Previously arbitrary errors could be cleared during formatting error
messages for ImportError or AttributeError for modules. Now all
unexpected errors are reported.

gh-109981: Fix support.fd_count() on macOS 14 (#112797)

Use scanning "/dev/fd/" on macOS in support.fd_count(). That's both more efficient than scanning all possible file descriptors, and avoids crashing the interpreter when there are open "guarded" file descriptors.

"Guarded" file descriptors are a macOS feature where file descriptors used by system libraries are marked and cause hard crashes when used by "user" code.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-112730: Use color to highlight error locations (gh-112732)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-101100: Fix Sphinx nitpicks in `library/reprlib.rst` (#112811)

gh-101100: Improve documentation of code object attributes (#112781)

gh-111178: Define `visitproc` callback functions properly and remove unnecessary casts in gcmodule.c (#112687)

gh-75666: Tkinter: "unbind(sequence, funcid)" now only unbinds "funcid" (GH-111322)

Previously, "widget.unbind(sequence, funcid)" destroyed the current binding
for "sequence", leaving "sequence" unbound, and deleted the "funcid"
command.

Now it removes only "funcid" from the binding for "sequence", keeping
other commands, and deletes the "funcid" command.
It leaves "sequence" unbound only if "funcid" was the last bound command.

Co-authored-by: GiovanniL <13402461+GiovaLomba@users.noreply.github.com>

gh-111545: Add Py_HashPointer() function (#112096)

* Implement _Py_HashPointerRaw() as a static inline function.
* Add Py_HashPointer() tests to test_capi.test_hash.
* Keep _Py_HashPointer() function as an alias to Py_HashPointer().

gh-108223: Refer to PEP 703 as Free Threading (#112780)

gh-111178: Docs: fix `traverseproc`, `inquiry`, and `destructor` parameters in slot typedefs table (GH-112742)

In the slot typedefs table, the parameter of `destructor`
and the first parameter of `traverseproc` should both be
`PyObject *` rather than `void *`.
Same for `inquiry`.

gh-101100: Fix most Sphinx nitpicks in the glossary and `stdtypes.rst` (#112757)

gh-108927: Include new dir test/regrtestdata in the installation (GH-112765)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-112606: Use sem_clockwait with monotonic time when supported in parking_lot.c (gh-112733)

gh-112769: test_zlib: Fix comparison of ZLIB_RUNTIME_VERSION with non-int suffix (GH-112771)

zlib-ng defines the version as "1.3.0.zlib-ng".

gh-101100: Properly document frame object attributes (#112735)

Minor stylistic edit to the grouper recipe (gh112759)

bpo-35332: Handle os.close() errors in shutil.rmtree() (GH-23766)

* Ignore os.close() errors when ignore_errors is True.
* Pass os.close() errors to the error handler if specified.
* os.close no longer retried after error.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112328: [Enum] Make some private attributes public. (GH-112514)

* [Enum] Make some private attributes public.

- ``_EnumDict`` --> ``EnumDict``
- ``EnumDict._member_names`` --> ``EnumDict.member_names``
- ``Enum._add_alias_``
- ``Enum._add_value_alias_``

---------

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

gh-94692: Only catch OSError in shutil.rmtree() (#112756)

Previously a symlink attack resistant version of shutil.rmtree() could ignore
or pass to the error handler arbitrary exception when invalid arguments
were provided.

gh-110190: Fix ctypes structs with array on Arm (#112604)

Set MAX_STRUCT_SIZE to 32 in stgdict.c when on Arm platforms.
This because on Arm platforms structs with at most 4 elements of any
floating point type values can be passed through registers. If the type
is double the maximum size of the struct is 32 bytes.
On x86-64 Linux, it's maximum 16 bytes hence we need to differentiate.

gh-105323: Remove `WITH_APPLE_EDITLINE` to use the same declaration for all editline (gh-112513)

bpo-43153: Don't mask `PermissionError` with `NotADirectoryError` during tempdirectory cleanup (GH-29940)

Co-authored-by: andrei kulakov <andrei.avk@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112535: Add comment for ppc32/64 registers (gh-112746)

gh-101100: Fix many easily solvable Sphinx nitpicks in the datamodel docs (#112737)

gh-81441: shutil.rmtree() FileNotFoundError race condition (GH-14064)

Ignore missing files and directories while enumerating
directory entries in shutil.rmtree().

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-62897: Update PyUnicode C API parameter names (GH-12680)

Standardize PyUnicode C API parameter names across the documentation.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112535: Update _Py_ThreadId() to support PowerPC (gh-112624)

gh-82300: Add track parameter to multiprocessing.shared_memory (#110778)

Add a track parameter to shared memory to allow resource tracking via the side-launched resource tracker process to be disabled on platforms that use it (POSIX).

This allows people who do not want automated cleanup at process exit because they are using the shared memory with processes not participating in Python's resource tracking to use the shared_memory API.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>
Co-authored-by: Antoine Pitrou <pitrou@free.fr>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

Minor refactoring of Object/abstract.c (UNARY_FUNC macro and more cases for BINARY_FUNC) (GH-112145)

* Use BINARY_FUNC macro for some remaining ops
* Add UNARY_FUNC macro to define unary PyNumber_* functions

gh-102130: Support tab completion in cmd for Libedit. (GH-107748)

---

Co-authored-by: Tian Gao <gaogaotiantian@hotmail.com>

gh-112736: Refactor del-safe symbol handling in subprocess (#112738)

Refactor delete-safe symbol handling in subprocess.

Only module globals are force-cleared during interpreter finalization, using a class reference instead of individually listing the constants everywhere is simpler.

GH-112727: Speed up `pathlib.Path.absolute()` (#112728)

Use `_from_parsed_parts()` to create a pre-joined/pre-parsed path, rather
than passing multiple arguments to `with_segments()`

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-112334: Restore subprocess's use of `vfork()` & fix `extra_groups=[]` behavior (#112617)

Restore `subprocess`'s intended use of `vfork()` by default for performance on Linux;
also fixes the behavior of `extra_groups=[]` which was unintentionally broken in 3.12.0:

Fixed a performance regression in 3.12's :mod:`subprocess` on Linux where it
would no longer use the fast-path ``vfork()`` system call when it could have
due to a logic bug, instead falling back to the safe but slower ``fork()``.

Also fixed a security bug introduced in 3.12.0.  If a value of ``extra_groups=[]``
was passed to :mod:`subprocess.Popen` or related APIs, the underlying
``setgroups(0, NULL)`` system call to clear the groups list would not be made
in the child process prior to ``exec()``.

The security issue was identified via code inspection in the process of
fixing the first bug.  Thanks to @vain for the detailed report and
analysis in the initial bug on Github.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112535: Add test on _Py_ThreadId() (#112709)

Add also test.support.Py_GIL_DISABLED constant.

gh-112671: Fixing typo in the Macro Docs (GH-112715)

Replace Py_T_STRING_INLINE with Py_T_STRING_INPLACE

gh-105967: Work around a macOS bug, limit zlib C library crc32 API calls to 1gig (#112615)

Work around a macOS bug, limit zlib crc32 calls to 1GiB.

Without this, `zlib.crc32` and `binascii.crc32` could produce incorrect
results on multi-gigabyte inputs depending on the macOS version's Apple
supplied zlib implementation.

gh-103363: Add follow_symlinks argument to `pathlib.Path.owner()` and `group()` (#107962)

gh-74690: Avoid a costly type check where possible in `_ProtocolMeta.__subclasscheck__` (#112717)

gh-112516: Update bundled pip version to 23.3.1 (gh-112517)

gh-108927: Fix removing testing modules from sys.modules (GH-108952)

It breaks import machinery if the test module has submodules used in
other tests.

gh-74690: Optimise `isinstance()` and `issubclass()` calls against runtime-checkable protocols by avoiding costly `super()` calls (#112708)

gh-101100: Fix Sphinx nitpicks in `library/abc.rst` (#112703)

gh-109786: Fix leaks and crash when re-enter itertools.pairwise.__next__() (GH-109788)

gh-110275: Named tuple's __replace__() now raises TypeError for invalid arguments (GH-110299)

gh-65210: Add const qualifiers in PyArg_VaParseTupleAndKeywords() (GH-105958)

Change the declaration of the keywords parameter in functions
PyArg_ParseTupleAndKeywords() and PyArg_VaParseTupleAndKeywords() from `char **`
to `char * const *` in C and `const char * const *` in C++.

It makes these functions compatible with argument of type `const char * const *`,
`const char **` or `char * const *` in C++ and `char * const *` in C
without explicit type cast.

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-101100: Fix Sphinx nitpicks in `library/functions.rst` (#112669)

gh-106550: Fix sign conversion in pycore_code.h (#112613)

Fix sign conversion in pycore_code.h: use unsigned integers and cast
explicitly when needed.

bpo-34392: Add sys. _is_interned() (GH-8755)

gh-112625: Protect bytearray from being freed by misbehaving iterator inside bytearray.join (GH-112626)

gh-112678: Declare `Tkapp_CallDeallocArgs()` as `static` (GH-112679)

gh-66819: More IDLE htest updates(4) (#112686)

Mostly double spacing before 'if __name__...'.

gh-66819: More IDLE htest updates(3) (#112683)

Revise spec-callable pairs from percolator to end.

GH-106747: Improve `Path.glob()` expectations in pathlib tests (#112365)

Add trailing slashes to expected `Path.glob()` results wherever a pattern
has a trailing slash. This matches what `glob.glob()` produces.

Due to another bug (GH-65238) pathlib strips all trailing slashes, so this
change is academic for now.

gh-101100: Fix Sphinx warning in `library/gettext.rst` (#112668)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-101100: Fix most Sphinx nitpicks in `inspect.rst` (#112662)