GH-89727: Partially fix `shutil.rmtree()` recursion error on deep trees (#119634)

Make `shutil._rmtree_unsafe()` call `os.walk()`, which is implemented
without recursion.

`shutil._rmtree_safe_fd()` is not affected and can still raise a recursion
error.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-119525: Fix deadlock with `_PyType_Lookup` and the GIL (#119527)

The deadlock only affected the free-threaded build and only occurred
when the GIL was enabled at runtime. The `Py_DECREF(old_name)` call
might temporarily release the GIL while holding the type seqlock.
Another thread may spin trying to acquire the seqlock while holding the
GIL.

The deadlock occurred roughly 1 in ~1,000 runs of `pool_in_threads.py`
from `test_multiprocessing_pool_circular_import`.

gh-119070: Fix py.exe handling of /usr/bin/env commands missing extension (GH-119426)

gh-119594: Improve pow(fraction.Fraction(), b, modulo) error message (#119593)

If one calls pow(fractions.Fraction, x, module) with modulo not None, the error message now says that the types are incompatible rather than saying pow only takes 2 arguments.  Implemented by having fractions.Fraction __pow__ accept optional modulo argument and return NotImplemented if not None.  pow() then raises with appropriate message.
---------

Co-authored-by: Mark Dickinson <dickinsm@gmail.com>

gh-119260: Clarify is_dataclass Behavior for Subclasses in Documentation and Tests (#119480)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-93963: Remove deprecated names from importlib.abc (#119720)

Co-authored-by: Jason R. Coombs <jaraco@jaraco.com>

gh-118673: Remove shebang and executable bits from stdlib modules. (#119658)

* gh-118673: Remove shebang and executable bits from stdlib modules.

* Removed shebangs and exe bits on turtledemo scripts.

The setting was inappropriate for '__main__' and inconsistent across the other modules. The scripts can still be executed directly by invoking with the desired interpreter.

gh-119721: Integrate documentation fixes into heapq module docstring. (gh-119722)

gh-119690: Adds Unicode support for named pipes in _winapi (GH-119717)

gh-119655: Fix reference leak in the ``_datetimemodule.c`` (gh-119713)

gh-119273: Don't run test_ioctl in a process group (#119275)

Python test runner no longer runs tests using TTY (ex: test_ioctl) in
a process group (using setsid()). Previously, tests using TTY were
skipped.

CI: set correct working directory for Hypothesis cache (GH-119345)

Set cwd for Hypothesis database

gh-119613: Soft deprecate Py_IS_NAN/INFINITY/FINITE (#119701)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-93554: add test for quickening of code in loops ending with conditional statement (#119485)

gh-97588: Align ctypes struct layout to GCC/MSVC (GH-97702)

Structure layout, and especially bitfields, sometimes resulted in clearly
wrong behaviour like overlapping fields. This fixes

Co-authored-by: Gregory P. Smith <gps@python.org>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-119689: generate stack effect metadata for pseudo instructions (#119691)

gh-119661: Add _Py_SINGLETON() include in Argumenet Clinic (#119712)

When the _Py_SINGLETON() is used, Argument Clinic now adds an
explicit "pycore_runtime.h" include to get the macro. Previously, the
macro may or may not be included indirectly by another include.

gh-119613: Use C99+ functions instead of Py_IS_NAN/INFINITY/FINITE (#119619)

gh-119555: catch SyntaxError from compile() in the InteractiveColoredConsole (#119557)

gh-119704: Fix reference leak in the ``Python/Python-tokenize.c`` (#119705)

gh-119443: Turn off from __future__ import annotations in REPL (#119493)

gh-117398: Convert datetime.IsoCalendarDate To A Heap Type (gh-119637)

This is the only static type in the module that we will not keep static.

gh-119538: Add missing expat build dependencies (#119647)

xmltok_impl.c and xmltok_ns.c are _included_ in xmltok.c by the C
pre-processor.

GH-119258: Handle STORE_ATTR_WITH_HINT in tier two (GH-119481)

GH-119476: Split _CHECK_FUNCTION_VERSION out of _CHECK_FUNCTION_EXACT_ARGS (GH-119510)

gh-119118: Fix performance regression in tokenize module (#119615)

* gh-119118: Fix performance regression in tokenize module

- Cache line object to avoid creating a Unicode object
  for all of the tokens in the same line.
- Speed up byte offset to column offset conversion by using the
  smallest buffer possible to measure the difference.

Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

gh-119676: remove several pseudo instructions which are use only in codegen (#119677)

gh-119011: `type.__type_params__` now return an empty tuple (#119296)

gh-117865: Defer import of re in ast (#119546)

This is used only by ast.get_source_segment(), so it seems sensible to avoid importing it.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-117398: gh-119655: datetime: Init static state once & don't free it (GH-119662)

- While datetime uses global state, only initialize it once.
- While `capi` is static, don't free it (thanks @neonene in https://github.com/python/cpython/pull/119641/files#r1616710048)

gh-119581: Add a test of InitVar with name shadowing (#119582)

gh-119396: Optimize unicode_repr() (#119617)

Use stringlib to specialize unicode_repr() for each string kind
(UCS1, UCS2, UCS4).

Benchmark:

+-------------------------------------+---------+----------------------+
| Benchmark                           | ref     | change2              |
+=====================================+=========+======================+
| repr('abc')                         | 100 ns  | 103 ns: 1.02x slower |
+-------------------------------------+---------+----------------------+
| repr('a' * 100)                     | 369 ns  | 369 ns: 1.00x slower |
+-------------------------------------+---------+----------------------+
| repr(('a' + squote) * 100)          | 1.21 us | 946 ns: 1.27x faster |
+-------------------------------------+---------+----------------------+
| repr(('a' + nl) * 100)              | 1.23 us | 907 ns: 1.36x faster |
+-------------------------------------+---------+----------------------+
| repr(dquote + ('a' + squote) * 100) | 1.08 us | 858 ns: 1.25x faster |
+-------------------------------------+---------+----------------------+
| Geometric mean                      | (ref)   | 1.16x faster         |
+-------------------------------------+---------+----------------------+

gh-119659: Move `@no_rerun` to `test.support` (#119660)

gh-118824: Remove deprecated `master_open` and `slave_open` from `pty` (#118826)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

[doc] Clarify the nature of the root logger in the `logging` documentation (GH-119440)

Co-authored-by: Vinay Sajip <vinay_sajip@yahoo.co.uk>

gh-116860: Remove outdated `test_parserhack` from `test_future` (#116861)

gh-117557: Improve error messages when a string, bytes or bytearray of length 1 are expected (GH-117631)

Fix typos in comments (#119645)

gh-119311: Fix name mangling with PEP 695 generic classes (#119464)

Fixes #119311. Fixes #119395.

gh-117398: Add multiphase support to _datetime (gh-119373)

This is minimal support.  Subinterpreters are not supported yet.  That will be addressed in a later change.

Co-authored-by: Eric Snow <ericsnowcurrently@gmail.com>

gh-119584: Fix test_import Failed Assertion (gh-119623)

The fix in gh-119561 introduced an assertion that doesn't hold true if any of the three new test extension modules are loaded more than once.  This is fine normally but breaks if the new test_check_state_first() is run more than once, which happens for refleak checking and with the regrtest --forever flag.  We fix that here by clearing each of the three modules after loading them.  We also tweak a check in _modules_by_index_check().

Misc cleanups and wording improvements for the itertools docs (gh-119626)

Withdraw most of my ownership in favor of Mark (#119611)

Docs: Move inline JavaScript to own file to reduce duplication (#119541)

gh-119580: Improve version added section for convenience variable (#119583)

Docs: Only install sphinx-autobuild for `make htmllive` (#119607)

Docs: Add class role for IPV{4,6}Address and fix a typo (#118059)

Add class role for IPV{4,6}Address and fix a typo

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

GH-117283: Add doc warning for `PyTuple_SetItem` refcount > 1 (#117916)

gh-119467: Fix Py_buffer.format type and correct documentation typo (#119475)

``Include/internal/pycore_import.h``: Fix typo (#119586)

Fix typo

Fix typos in HISTORY documentation (#119453)

Re-order imports to align with zipp 3.18.2 (#119587)

gh-102864: Add switching frame test for pdb (#119564)

gh-119562: Remove unused private string constants from `ast.py` (#119576)

gh-111997: Fix argument count for LINE event and clarify type of argument counts. (#119179)

gh-119562: Remove AST nodes deprecated since Python 3.8 (#119563)

Update README and layout.html from 3.13 to 3.14 (#119539)

Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

docs: fix a few typos identified by codespell (#119516)

GH-82805: Fix handling of single-dot file extensions in pathlib (#118952)

pathlib now treats "`.`" as a valid file extension (suffix). This brings
it in line with `os.path.splitext()`.

In the (private) pathlib ABCs, we add a new `ParserBase.splitext()` method
that splits a path into a `(root, ext)` pair, like `os.path.splitext()`.
This method is called by `PurePathBase.stem`, `suffix`, etc. In a future
version of pathlib, we might make these base classes public, and so users
will be able to define their own `splitext()` method to control file
extension splitting.

In `pathlib.PurePath` we add optimised `stem`, `suffix` and `suffixes`
properties that don't use `splitext()`, which avoids computing the path
base name twice.

gh-119560: Drop an Invalid Assert in PyState_FindModule() (gh-119561)

The assertion was added in gh-118532 but was based on the invalid assumption that PyState_FindModule() would only be called with an already-initialized module def.  I've added a test to make sure we don't make that assumption again.

gh-99180: Make `StackSummary.should_show_carets` private (#119554)

Add codeowners for PYREPL (#119550)

gh-119548: Add a 'clear' command to the REPL (#119549)

FAQ: Add reference to Python version numbering scheme (#119225)

gh-111999: Fix the signature of str.format_map() (#119540)

gh-119105: Differ.compare is too slow [for degenerate cases] (#119492)

``_fancy_replace()`` is no longer recursive. and a single call does a worst-case linear number of ratio() computations instead of quadratic. This renders toothless a universe of pathological cases. Some inputs may produce different output, but that's rare, and I didn't find a case where the final diff appeared to be of materially worse quality. To the contrary, by refusing to even consider synching on lines "far apart", there was more easy-to-digest locality in the output.

gh-119180: Update the magic number (#119397)

PR #119321 added a comment about the magic number bump
but did not actually apply the new magic number.

Misc improvement to the docs for itertools (gh-119529)

GH-119054: Add "Querying file type and status" section to pathlib docs (#119055)

Add a dedicated subsection for `Path.stat()`-related methods, specifically
`stat()`, `lstat()`, `exists()`, `is_*()`, and `samefile()`.

Regen ``Doc/requirements-oldest-sphinx.txt`` (#119520)

gh-118263: Add additional arguments to path_t (Argument Clinic type) in posixmodule (GH-118355)

gh-112075: Fix dict thread safety issues (#119288)

Fix dict thread safety issues

GH-119496: accept UTF-8 BOM in .pth files (GH-119503)

`Out-File -Encoding utf8` and similar commands in Windows Powershell 5.1 emit
UTF-8 with a BOM marker, which the regular `utf-8` codec decodes incorrectly.

`utf-8-sig` accepts a BOM, but also works correctly without one.

This change also makes .pth files match the way Python source files are handled.

Co-authored-by: Inada Naoki <songofacandy@gmail.com>

gh-69214: Fix fcntl.ioctl() request type (#119498)

Use an 'unsigned long' instead of an 'unsigned int' for the request
parameter of fcntl.ioctl() to support requests larger than UINT_MAX.

GH-113464: Run the JIT interpreter before any other JIT CI (GH-119466)

gh-119317: findall instead of traverse for docutils nodes (#119319)

Clarify base64.a85encode docs: *wrapcols* doesn't count the newline (GH-119409)

gh-119461: Fix ThreadedVSOCKSocketStreamTest (#119465)

Add socket.VMADDR_CID_LOCAL constant.

Fix ThreadedVSOCKSocketStreamTest: if get_cid() returns the host
address or the "any" address, use the local communication address
(loopback): VMADDR_CID_LOCAL.

On Linux 6.9, apparently, the /dev/vsock device is now available but
get_cid() returns VMADDR_CID_ANY (-1).

gh-118727: Don't drop the GIL in `drop_gil()` unless the current thread holds it (#118745)

`drop_gil()` assumes that its caller is attached, which means that the current
thread holds the GIL if and only if the GIL is enabled, and the enabled-state
of the GIL won't change. This isn't true, though, because `detach_thread()`
calls `_PyEval_ReleaseLock()` after detaching and
`_PyThreadState_DeleteCurrent()` calls it after removing the current thread
from consideration for stop-the-world requests (effectively detaching it).

Fix this by remembering whether or not a thread acquired the GIL when it last
attached, in `PyThreadState._status.holds_gil`, and check this in `drop_gil()`
instead of `gil->enabled`.

This fixes a crash in `test_multiprocessing_pool_circular_import()`, so I've
reenabled it.

gh-117398: Statically Allocate the Datetime C-API (GH-119472)

gh-119469: Fix _pyrepl reference leaks (#119470)

gh-117142: Slightly hacky fix for memory leak of StgInfo (GH-119424)

Add a funciton that inlines PyObject_GetTypeData and skips
type-checking, so it doesn't need access to the CType_Type object.
This will break if the memory layout changes, but should
be an acceptable solution to enable ctypes in subinterpreters in
Python 3.13.

Mark _ctypes as safe for multiple interpreters

Co-authored-by: neonene <53406459+neonene@users.noreply.github.com>

GH-117195: Avoid assertion error in `object.__sizeof__` (GH-117220)

gh-119431: fix refleak in test_monitoring (#119444)

Fix typos in what's new documentation (#119448)

Tiny fix: Update link for HAC algorithm (gh-118546)

gh-119105: difflib.py Differ.compare is too slow [for degenerate cases] (#119376)

Track all pairs achieving the best ratio in Differ(). This repairs the "very deep recursion and cubic time" bad cases in a way that preserves previous output.

gh-119434: Fix culmitive errors in wrapping as lines proceed (#119435)

Fix culmitive errors in wrapping as lines proceed

gh-119396: Optimize PyUnicode_FromFormat() UTF-8 decoder (#119398)

Add unicode_decode_utf8_writer() to write directly characters into a
_PyUnicodeWriter writer: avoid the creation of a temporary string.
Optimize PyUnicode_FromFormat() by using the new
unicode_decode_utf8_writer().

Rename unicode_fromformat_write_cstr() to
unicode_fromformat_write_utf8().

Microbenchmark on the code:

    return PyUnicode_FromFormat(
        "%s %s %s %s %s.",
        "format", "multiple", "utf8", "short", "strings");

Result: 620 ns +- 8 ns -> 382 ns +- 2 ns: 1.62x faster.

gh-111201: Use calc_complete_screen after bracketed paste in PyREPL (#119432)

gh-117142: ctypes: Clean up c-analyzer .tsv files (GH-117544)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-70795: Rework RLock documentation (#103853)

Attempted to simultaneously reduce verbosity, while more descriptively
describing behavior.

Fix links (RLock acquire/release previously linking to Lock
acquire/release, seems like bad copy pasta).

Add a seealso for with-locks.

Switch section to use bullet points.

---------

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-117505: Run ensurepip in isolated env in Windows installer (GH-118257)

ensurepip forks a subprocess to run pip itself, but that subprocess only inherits a -I isolated mode flag (see _run_pip() in Lib/ensurepip/__init__.py), not the "-E -s" flags that the installer has been using. This means that parts of ensurepip don't actually run in an isolated environment and can make incorrect decisions based on packages installed in the user site-packages.

gh-119247: Add macros to use PySequence_Fast safely in free-threaded build (#119315)

Add `Py_BEGIN_CRITICAL_SECTION_SEQUENCE_FAST` and
`Py_END_CRITICAL_SECTION_SEQUENCE_FAST` macros and update `str.join` to use
them. Also add a regression test that would crash reliably without this
patch.

gh-117657: Fix missing atomic in dict_resize (#119312)

Fix missing atomic in dict_resize

Remove almost all unpaired backticks in docstrings (#119231)

As reported in #117847 and #115366, an unpaired backtick in a docstring
tends to confuse e.g. Sphinx running on subclasses of standard library
objects, and the typographic style of using a backtick as an opening
quote is no longer in favor. Convert almost all uses of the form

    The variable `foo' should do xyz

to

    The variable 'foo' should do xyz

and also fix up miscellaneous other unpaired backticks (extraneous /
missing characters).

No functional change is intended here other than in human-readable
docstrings.

gh-119213: Be More Careful About _PyArg_Parser.kwtuple Across Interpreters (gh-119331)

_PyArg_Parser holds static global data generated for modules by Argument Clinic.  The _PyArg_Parser.kwtuple field is a tuple object, even though it's stored within a static global.  In some cases the tuple is statically allocated and thus it's okay that it gets shared by multiple interpreters.  However, in other cases the tuple is set lazily, allocated from the heap using the active interprepreter at the point the tuple is needed.

This is a problem once that interpreter is destroyed since _PyArg_Parser.kwtuple becomes at dangling pointer, leading to crashes.  It isn't a problem if the tuple is allocated under the main interpreter, since its lifetime is bound to the lifetime of the runtime.  The solution here is to temporarily switch to the main interpreter.  The alternative would be to always statically allocate the tuple.

This change also fixes a bug where only the most recent parser was added to the global linked list.

gh-119391: Amend comment description of PyMapping_Items, PyMapping_Values and PyMapping_Keys (#119392)

The behaviour was changed in 0ccc0f6c7.

gh-118643: Fix AttributeError in the email module (GH-119099)

Fix regression introduced in gh-100884: AttributeError when re-fold a long
address list.

Also fix more cases of incorrect encoding of the address separator in the
address list missed in gh-100884.

Fix version number in use_load_tests deprecation reference (GH-119151)

Deprecation took place in d78742a260ba09e53c844de7b1fd11a11c674945 (3.5)