gh-148211: decompose `_SHUFFLE_3_LOAD_CONST_INLINE_BORROW` in JIT (GH-148816)

gh-148571: [JIT] Preserve family-head recorder layouts for specialized opcode families (GH-148730)

* Records the same objects for each member of family before execution
* Records derived values when recording the trace
* This makes sure that specialization, or deoptimization, does not cause invalid values to be recorded

GH-83065: Fix import deadlock by implementing hierarchical module locking (GH-137196)

Make _find_and_load() acquire the module locks for the full
dotted-name chain (parent before child) when loading a nested module, so
both threads contend on the same first lock and serialise instead of
deadlocking.

When acquiring a parent's lock would itself deadlock with another thread
that is loading that parent (cross-package circular imports), the parent's
lock is skipped and the partially-initialised parent is accepted -- the
same policy _lock_unlock_module() already applies on the existing code
path -- so concurrent circular imports that worked before continue to work.

gh-125862: Keep ContextDecorator open across generator/coroutine execution (GH-136212)

ContextDecorator and AsyncContextDecorator (and therefore @contextmanager
and @asynccontextmanager used as decorators) now detect generator,
coroutine, and asynchronous generator functions and emit a wrapper of the
matching kind, so the context manager spans iteration or await rather than
just the call that constructs the lazy object.  Wrapped generators are
explicitly closed when iteration ends.

For asynchronous generator wrappers, values passed via asend() and
exceptions via athrow() are not forwarded to the wrapped generator.

AsyncContextDecorator now also accepts synchronous functions and
generators, returning an asynchronous wrapper; ContextDecorator remains
the recommended choice for those.

inspect.isgeneratorfunction(), iscoroutinefunction(), and
isasyncgenfunction() now return True for the decorated result when the
input is of that kind.

---------

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-149035: Modernize legacy Python patterns in `Doc/tutorial/stdlib2.rst` (#149036)

Co-authored-by: Copilot <copilot@github.com>

gh-137600: Promote `ast` node constructor deprecation warnings to errors (#137601)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-148829: Implement PEP 661 (#148831)

Co-authored-by: Victorien <65306057+Viicos@users.noreply.github.com>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-148252: Avoid overflow in `_remote_debugging` binary reader bounds checks (#148972)

gh-149017: Upgrade bundled Expat to 2.8.0 (#149020)

gh-146581: Fix vulnerability in shutil.unpack_archive() for ZIP files on Windows (GH-146591)

Use ZipFile.extractall() to sanitize file names and extract files.

Files with invalid names (e.g. absolute paths) are now skipped.

Files containing ".." in the name are no longer skipped.

gh-148529: Minor improvements of the struct module documentation (GH-148565)

* Document that 's' and 'p' accept bytes and bytearray.
* Fix some footnotes.
* Clarify that "string" is a byte string.
* Fix the module docstring.

GH-146073: Add fitness to executor dumps. (GH-148959)

Un-skip previously-broken `test_get_type_hints_modules_forwardref` (#149048)

GH-135357: Add socket.SO_PASSRIGHTS constant (#135355)

Constant added to Linux 6.16. See the LWN article:
https://lwn.net/Articles/1023085/

Co-authored-by: Brian Schubert <brianm.schubert@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

gh-148868: Increase test coverage for `cmath.isinf` (#148869)

Fix typo in `ceval.c` error message (#148860)

Fix the "multiple values for keyword argument" error message
used when the function's `__qualname__` cannot be retrieved.

gh-82665 Mention that HTMLParser.handle_starttag value can be None (#134312)

* Specify boolean attribute behavior in parser

* Tweak wording and example

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
* Fix backticks

---------

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Document that multiprocessing treats local same-user processes as trusted (GH-149001)

Clarify in the Authentication keys section that the authkey handshake
covers Listener/Client (addressable endpoints) only, not the anonymous
pipes behind Pipe() and Queue, and that isolation between same-user
processes must be arranged at the OS level.

gh-47798: Refactor the POSIX subprocess.Popen._communicate selector loop into helpers (GH-149032)

No public API change.  Lift the per-iteration select/read/write loop out of
Popen._communicate (POSIX) into a module-level _communicate_io_posix(), with
small _flush_stdin / _make_input_view / _translate_newlines helpers alongside
it.  Popen._communicate calls the helper and persists the returned input
offset for resume-after-timeout.

Retire the private Popen._remaining_time method in favor of module-level
_deadline_remaining; all call sites (POSIX and Windows) updated.

Defensive behavioural deltas: the stdin and stdout/stderr .close() calls in
the I/O loop now swallow BrokenPipeError / OSError, matching __exit__ and the
no-input path; previously these were bare.

Adds test_communicate_timeout_resume_partial_write to cover _input_offset
bookkeeping across TimeoutExpired/resume.

gh-148991: Add colour to `tokenize` CLI output (#148992)

Co-authored-by: Stan Ulbrych <stan@python.org>

gh-146455: Fix O(N²) in add_const() after constant folding moved to CFG (#146456)

The add_const() function in flowgraph.c uses a linear search over the
consts list to find the index of a constant. After gh-126835 moved
constant folding from the AST optimizer to the CFG optimizer, this
function is now called N times for N inner tuple elements during
fold_tuple_of_constants(), resulting in O(N²) total time.

Fix by maintaining an auxiliary _Py_hashtable_t that maps object
pointers to their indices in the consts list, providing O(1) lookup.

For a file with 100,000 constant 2-tuples:
- Before: 10.38s (add_const occupies 83.76% of CPU time)
- After:  1.48s

gh-148981: Add color parameter to `ast.dump` (#148982)

And turn on color for the `ast` module CLI.

gh-137855: Lazy import `inspect` module in dataclasses (#144387)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-141473: Speed up subprocess test_communicate_timeout_large_input long tail (#149003)

gh-141473: Speed up test_communicate_timeout_large_input

Replace the slow reader's 30s sleep with a parent-driven wake over a
loopback socket so post-timeout communicate() doesn't block waiting
for the child to wake on its own. Worst-case runtime: ~30s -> <1s.

gh-146311: Reject non-canonical padding bits in base32, 64, & 85 decoding (GH-146312)

Add `canonical=False` keyword argument to `a2b_base64`, `a2b_base32`, `a2b_base85`, and `a2b_ascii85` (and their `base64` module wrappers). When `canonical=True`, non-canonical encodings are rejected per [RFC 4648 section 3.5](https://datatracker.ietf.org/doc/html/rfc4648.html#section-3.5).

This is independent of `strict_mode`.

For base85/ascii85, the check also rejects single-character final groups (never produced by a conforming encoder) and verifies partial group padding matches what the encoder would produce.

Co-authored-by: Serhiy Storchaka via lots of great code review!

gh-148989: `_remote_debugging`: Remove dead code, unnecessary gc state read (#148990)

dead code

gh-140727: Update tachyon logo (#148965)

gh-134690: Removed deprecated `codetype.co_lnotab` (#134691)

gh-148947: dataclasses: fix error on empty __class__ cell  (#148948)

Also add a test demonstrating the need for the existing "is oldcls" check.

Co-authored-by: Bartosz Sławecki <bartosz@ilikepython.com>

gh-140287: Handle `PYTHONSTARTUP` script exceptions in the asyncio REPL (#140288)

gh-148588: Document `__lazy_modules__` (#148590)

gh-148973: fix segfault on mismatch between consts size and oparg in compiler (#148974)

gh-142186: Revert the unintended value change in the `PY_MONITORING_EVENT_*` values from gh-146182 (gh-148955)

https://github.com/python/cpython/pull/146182 left an unintended change in the `PY_MONITORING_*` macro values. This change reverts that part to avoid a user visible impact.

gh-108951: add TaskGroup.cancel() (#127214)

Fixes #108951

Co-authored-by: sobolevn <mail@sobolevn.me>
Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>
Co-authored-by: Guido van Rossum <guido@python.org>

Improve  `hash()` builtin docstring with caveats. (GH-125229)

Improve  `hash()` builtin docstring with caveats.

Mention its return type and that the value can be expected to change between
processes (hash randomization).

Why? The `hash` builtin gets reached for and used by a lot of people whether it
is the right tool or not. IDEs surface docstrings and people use pydoc and
`help(hash)`.

gh-146073: Add fitness/exit quality mechanism for JIT trace frontend (GH-148089)

* Replaces ad-hoc logic for ending traces with a simple inequality: `fitness < exit_quality`
* Fitness starts high and is reduced for branches, backward edges, calls and trace length
* Exit quality reflect how good a spot that instruction is to end a trace. Closing a loop is very, specializable instructions are very low and the others in between.

gh-145239: Accept unary plus literal pattern (#148566)

Add '+' alternatives to signed_number and signed_real_number grammar
rules, mirroring how unary minus is already handled for pattern matching.
Unary plus is a no-op on numbers so the value is returned directly without
wrapping in a UnaryOp node.

gh-113956: Make intern_common thread-safe in free-threaded build (gh-148886)

Avoid racing with the owning thread's refcount operations when
immortalizing an interned string: if we don't own it and its refcount
isn't merged, intern a copy we own instead. Use atomic stores in
_Py_SetImmortalUntracked so concurrent atomic reads are race-free.

gh-132631: Fix "I/O operation on closed file" when parsing JSON Lines file (#132632)

Co-authored-by: Brian Schubert <brianm.schubert@gmail.com>

gh-148663: Document that `calendar.IllegalMonthError` inherits from both `ValueError` and `IndexError` (#148664)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Stan Ulbrych <stan@python.org>

gh-148735: Fix a UAF in `Element.findtext()` (#148738)

gh-148680: Replace internal names with type_reprs of objects in string representations of ForwardRef (#148682)

Co-authored-by: Shamil <ashm.tech@proton.me>

GH-126910: Build/link the JIT shim in the Python interpreter (#148872)

gh-148907: fix performance regression in `PyType_GetModuleByDef` on free-threading (#148908)

gh-146636: Improve ABI/feature selection, add new header for it (GH-148302)

Improve ABI/feature selection, add new header for it.

Add a test that Python headers themselves don't use
Py_GIL_DISABLED in abi3t: abi3 and abi3t ought to be the
same except the _Py_OPAQUE_PYOBJECT differences.
This is done using the GCC-only poison pragma.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-148892: Drop mention of deprecated cibuildwheel option (#148893)

Speed up counting in statistics.fmean() (gh-148875)

gh-119180: Document the `format` parameter in `typing.get_type_hints()` (#143758)

Do not mention `__annotations__` dictionaries, as this is slightly
outdated since 3.14.

Rewrite the note about possible exceptions for clarity. Also do not
mention imported type aliases, as since 3.12 aliases with the `type`
statement do not suffer from this limitation anymore.

gh-142965: Fix Concatenate documentation to reflect valid use cases (#143316)

The documentation previously stated that Concatenate is only valid
when used as the first argument to Callable, but according to PEP 612,
it can also be used when instantiating user-defined generic classes
with ParamSpec parameters.

gh-145194: Fix typing in re tokenizer example (#145198)

gh-145056: Add support for frozendict in dataclass asdict and astuple (#145125)

gh-146553: Fix infinite loop in typing.get_type_hints() on circular __wrapped__ (#148595)

gh-148883: Docs: clarify grammar in Counter dictionary methods note (gh-148882)

gh-90309: Base64-encode cookie values embedded in JS

gh-148820: Fix _PyRawMutex use-after-free on spurious semaphore wakeup (gh-148852)

_PyRawMutex_UnlockSlow CAS-removes the waiter from the list and then
calls _PySemaphore_Wakeup, with no handshake. If _PySemaphore_Wait
returns Py_PARK_INTR, the waiter can destroy its stack-allocated
semaphore before the unlocker's Wakeup runs, causing a fatal error from
ReleaseSemaphore / sem_post.

Loop in _PyRawMutex_LockSlow until _PySemaphore_Wait returns Py_PARK_OK,
which is only signalled when a matching Wakeup has been observed.

Also include GetLastError() and the handle in the Windows fatal messages
in _PySemaphore_Init, _PySemaphore_Wait, and _PySemaphore_Wakeup to make
similar races easier to diagnose in the future.

gh-148858: Remove duplicated recipe.yaml files in Tools/pixi-packages (#148859)

Additional itertool recipes for running statistics (gh-148879)

gh-148207: add additional keywords to `typing.TypeVarTuple` (#148212)

GH-146073: Add example script for dumping JIT traces (GH-148840)

gh-142186: Allow all PEP-669 events to be per-code object and disableable  (GH-146182)

* Make the `PY_UNWIND` monitoring event available as a code-local
event to allow trapping on function exit events when an exception
bubbles up. This complements the PY_RETURN event by allowing to
catch any function exit event.

* Allow `PY_UNWIND`  to be `DISABLE`d; disabling it disables the event for the whole code object.

* Do the above for `PY_THROW`, `RAISE`, `EXCEPTION_HANDLED`, and `RERAISE` events.

gh-146578: _zstd: Fix printf format for pledged size errors (#146576)

Use %llu instead of %ull for unsigned long long in zstd_contentsize_converter ValueError messages.

[Enum] Improve clarity of comparison sentence (GH-148753)

Co-authored-by: Ethan Furman <ethan@stoneleaf.us>

gh-148801: Fix unbound C recursion in `Element.__deepcopy__()` (#148802)

gh-148808: Add boundary check to asyncio.AbstractEventLoop.sock_recvf… (#148809)

gh-148814: Fix an issue in Emscripten README (#148752)

Correct the description of the default state of test module compilation.

gh-108411: Make typing.IO/BinaryIO arguments positional-only (#142906)

`IO` is purported to be the type of the file objects returned by `open`.
However, all methods on those objects take positional-only arguments, while
`IO`'s methods are declared with regular arguments. As such, the file objects
cannot actually be considered to implement `IO`. The same thing applies to
`BinaryIO`.

Fix this by adjusting the definition of these ABCs to match the file objects.

This is technically a breaking change, but it is unlikely to actually break
anything:

* These methods should never be called at runtime, since they are abstract.
  Therefore, this should not cause any runtime errors.

* In typeshed these arguments are already positional-only, so this should
  not cause any errors during typechecking either.

Fix typos in asyncio, ctypes, and importlib documentation (#148747)

gh-138451: Support custom LLVM installation path (#138452)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Steve Dower <steve.dower@microsoft.com>
Co-authored-by: Savannah Ostrowski <savannah@python.org>

Use `soft-deprecated` in more places (#148769)

Docs: Fix some typos in `calendar.rst` (GH-148756)

gh-148644: Propagate the PGO job exit code in PCbuild/build.bat (GH-148645)

gh-148790: Eliminate redundant call to `_PyRuntime_Initialize` in `Py_InitializeEx` (GH-121628)

GH-145278: also filter mmap2 in strace_helper.filter_memory (GH-148648)

Signed-off-by: Filipe Laíns <lains@riseup.net>

gh-148718: Fix Py_STACKREF_DEBUG build by defining macros (#148719)

gh-123853: Update locale.windows_locale (GH-123901)

Update the table of Windows language code identifiers (LCIDs) to
protocol version 16.0 (2024-04-23).

gh-148788: Update Emscripten example post move to Platforms dir (#148761)

Update Emscripten example post move to Platforms dir.

gh-148763: Fix paramter name in `multiprocessing.connection.send_bytes/recv_bytes_into` docs (GH-126603)

Doc: Fix buf argument name in multiprocessing connection send_bytes

gh-148779: Update Briefcase link in android.rst documentation (#148777)

Use canonical beeware.org URL for link to Briefcase.

gh-133879: Copyedit "What's new in Python 3.15" (#148686)

gh-121946: Use clang-20 for TSan build (#148570)

Prevent GitHub's web conflict editor from converting LF to CRLF (#148739)

gh-148406: Fix annotations of _colorize.FancyCompleter (#148408)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-133403: Add type annotations to generate_levenshtein_examples.py (#143317)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-148659: Export a few more functions required for external JITs (#148704)

Export a few more functions required for external JITs

gh-148653: Fix reference leaks in test_marshal introduced in gh-148698 (GH-148725)

gh-148688: Fix _BlocksOutputBuffer_Finish() double free (#148689)

If _BlocksOutputBuffer_Finish() fails (memory allocation failure),
PyBytesWriter_Discard() is called on the writer. Then if
_BlocksOutputBuffer_OnError() is called, it calls again
PyBytesWriter_Discard() causing a double free.

Fix _BlocksOutputBuffer_Finish() by setting buffer->writer to NULL,
so _BlocksOutputBuffer_OnError() does nothing instead of calling
PyBytesWriter_Discard() again.

Add a new Sphinx `soft-deprecated` directive (#148630)

Co-authored-by: Stan Ulbrych <stan@python.org>

gh-148653: Fix some marshal errors related to recursive immutable objects (GH-148698)

Forbid marshalling recursive code, slice and frozendict objects which
cannot be correctly unmarshalled.
Reject invalid marshal data produced by marshalling recursive frozendict
objects which was previously incorrectly unmarshalled.
Add multiple tests for recursive data structures.

gh-148639: Implement PEP 800 (typing.disjoint_base) (#148640)

Co-authored-by: Victorien <65306057+Viicos@users.noreply.github.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-148222: Fix NULL dereference bugs in genericaliasobject.c (#148226)

gh-146393: Remove special character in optimizer_bytecodes.c (#148693)

gh-148651: Fix refcount leak in _zstd decompressor options (#148657)

The option parsing in Modules/_zstd/decompressor.c had a missing Py_DECREF(value) before the early return -1 when PyLong_AsInt(key) fails. The identical code in Modules/_zstd/compressor.c line 158 has the fix.

gh-148683: Doc: fix misplaced pprint entries in What's New 3.15 (#148685)

Doc: fix misplaced pprint entries in What's New 3.15

gh-148484: Fix memory leak of iterator in array.array constructor (GH-148523)

gh-148464: Add missing ``__ctype_le/be__`` attributes for complex types in the ctype module (GH-148485)

Co-authored-by: sunmy2019 <59365878+sunmy2019@users.noreply.github.com>

gh-148659: Export some internal functions for the JIT (PEP-523) (#148634)

Export (as internal functions, not public ones) C API functions necessary to implement a JIT as a separate extension module.

gh-148535: Don't use gcc -fprofile-update=atomic flag on i686 (#148554)

The -fprofile-update=atomic flag was added to fix a random GCC
internal error on PGO build (gh-145801) caused by corruption of
profile data (.gcda files). The problem is that it makes the PGO
build way slower (up to 47x slower) on i686. Since the GCC internal
error was not seen on i686 so far, don't use -fprofile-update=atomic
on i686.

gh-146031: Allow keeping specialization enabled when specifying eval frame function (#146032)

Allow keeping specialization enabled when specifying eval frame function

GH-146128: Fix AArch64 multi-instruction constants and relocations (GH-148598)

Fix AArch64 multi-instruction constants and relocations

* Elimates rendundant orr xN, xN, 0xffff after 16 or 32 bit loads
* Merges adrp (21rx) and ldr (12) relocations into single 33rx relocation, when safe to do so.

GH-145668: Add FOR_ITER specialization for virtual iterators. Specialize GET_ITER. (GH-147967)

* Add FOR_ITER_VIRTUAL to specialize FOR_ITER for virtual iterators
* Add GET_ITER_SELF to specialize GET_ITER for iterators (including generators)
* Add GET_ITER_VIRTUAL to specialize GET_ITER for iterables as virtual iterators
* Add new (internal) _tp_iteritem function slot to PyTypeObject
* Put limited RESUME at start of genexpr for free-threading. Fix up exception handling in genexpr