gh-69605: Add PyREPL import autocomplete feature to 'What's New' (#133358)

bpo-44172: Keep reference to original window in curses subwindow objects (GH-26226)

The X/Open curses specification[0] and ncurses documentation[1]
both state that subwindows must be deleted before the main window.

Deleting the windows in the wrong order causes a double-free with
NetBSD's curses implementation.

To fix this, keep track of the original window object in the subwindow
object, and keep a reference to the original for the lifetime of
the subwindow.

[0] https://pubs.opengroup.org/onlinepubs/7908799/xcurses/delwin.html
[1] https://invisible-island.net/ncurses/man/curs_window.3x.html

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

GH-133231: Changes to executor management to support proposed `sys._jit` module (GH-133287)

* Track the current executor, not the previous one, on the thread-state.

* Batch executors for deallocation to avoid having to constantly incref executors; this is an ad-hoc form of deferred reference counting.

gh-133363: Fix Cmd completion for lines beginning with `! ` (#133364)

gh-132983: Introduce `_zstd` bindings module (GH-133027)

* Add _zstd module for https://peps.python.org/pep-0784/

This commit introduces the `_zstd` module, with bindings to libzstd from
the pyzstd project. It also includes the unix build system configuration.
Windows build system support will be integrated independently as it
depends on integration with cpython-source-deps.

* Add _zstd to modules

* Fix path for compression.zstd module

* Ignore _zstd module like _io

* Expand module state macros to improve code quality

Also removes module state references from the classes in the _zstd
module and instead uses PyType_GetModuleState()

* Remove backticks suggested in review

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
* Use critical sections to lock object state

This should avoid races and deadlocks.

* Remove compress/decompress and mark module as not reliant on the GIL

The `compress`/`decompress` functions will be moved to Python code for simplicity.
C implementations can always be re-added in the future.

Also, mark _zstd as not requiring the GIL.

* Lift critical section to avoid clang warning

* Respond to comments by picnixz

* Call out pyzstd explicitly in license description

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
* Use a much more robust implementation...

... for `get_zstd_state_from_type`

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
* Use PyList_GetItemRef for thread safety purposes

* Use a macro for the minimum supported version

* remove const from primivite types

* Use PyMem_New in another spot

* Simplify error handling in _get_frame_size

* Another simplification of error handling in get_frame_info

* Rename _module_state to mod_state

* Rewrite comment explaining the context of the code

* Add link to pyzstd

* Add TODO about refactoring dict training code

* Use PyModule_AddObjectRef over PyModule_AddObject

PyModule_AddObject is soft-deprecated, so we should use PyModule_AddObjectRef

* Check result of OutputBufferGrow

* Simplify return logic in `add_constant_to_type`

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
* Ignore return value of _zstd_clear()

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
* Remove redundant comments

* Remove __reduce__ from ZstdDict

We should instead document that to pickle a dictionary a user should use
the `.dict_content` attribute.

* Use PyUnicode_FromFormat instead of a buffer

* Don't use C constants/types in error messages

* Make error messages easier to understand for Python users

* Lower minimum required version 1.4.0

* Use casts and make slot function signatures correct

* Be consistent with CPython on const usage

* Make else clauses in line with PEP 7

* Fix over-indented blocks in argument clinic

* Add critical section around ZSTD_DCtx_setParameter

* Add a TODO about refactoring critical sections

* Use Py_UNREACHABLE

* Move bytes operations out of Py_BEGIN_ALLOW_THREADS

* Add TODO about ensuring a lock is held

* Remove asserts that may not be correct

* Add TODO to make ZstdDict and others GC objects

* Make objects GC tracked

* Remove unused include

* Fix some memory issues

* Fix refleaks on module and in ZstdDict

* Update configure to check for ZDICT_finalizeDictionary

* Properly check version in configure

* exit(1) if check fails

* Use AC_RUN_IFELSE

* Use a define() to re-use version check

* Actually properly set _zstd module status based on version

---------

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

 GH-91048: Add utils for printing the call stack for asyncio tasks (#133284)

gh-133139: Add curses.assume_default_colors() (GH-133145)

This is a refinement of the curses.use_default_colors() function which
allows to change the color pair 0.

gh-123539: Add new error message changes to "Whats New" (#133344)

gh-133210: Fix `test_rlcompleter` in `--without-doc-strings` mode (#133332)

gh-123299: Add PyREPL syntax highlighting to release highlights (#133321)

gh-133304: workaround for RISC-V in PyFloat_Pack4/Unpack4() (#133328)

gh-133306: Use \z instead of \Z in regular expressions in the stdlib (GH-133337)

gh-133306: Use \z instead of \Z in fnmatch.translate() and glob.translate() (GH-133338)

gh-133117: Enable stricter mypy checks for `tomllib` (#133206)

gh-130160: use `.. program::` directive for documenting `platform` CLI (#133335)

gh-131524: Update platform CLI to use argparse (#131542)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-133306: Support \z as a synonym for \Z in regular expressions (GH-133314)

\Z was an error inherited from PCRE 0.95. It was fixed in PCRE 2.0.
In other engines, \Z means not “anchor at string end”, but
“anchor before optional newline at string end”.

\z means “anchor at string end” in most RE engines.

gh-114713: Revert gh-114731 (#133330)

Revert "gh-114713: Handle case of an empty string passed to `zoneinfo.ZoneInfo` (#114731)"

This reverts commit 884df116d79b05d9342e05e50484d61c684ecb8b.

gh-133194: Fix regression with PEP 758 parsing on older `feature_version` (#133289)

gh-133192: Fix regression with PEP 758 parsing on older `feature_version`

gh-133037: Add test for shadowing __annotate__ (#133084)

gh-91156: Document how TextIOWrapper interacts with UTF-8 mode (GH-132885)

Document how TextIOWrapper interacts with UTF-8 mode

gh-91048: Chain some exceptions in _testexternalinspection.c (#132970)

Lint: Use Ruff to format ``Tools/build/check_warnings.py`` (#133317)

gh-131507: Add support for syntax highlighting in PyREPL (GH-133247)

Co-authored-by: Victorien <65306057+Viicos@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

GH-113464: Get LLVM from cpython-bin-deps on Windows (GH-133278)

gh-100926: Move ctype's pointers cache from _pointer_type_cache to StgInfo (GH-131282)

Deprecate _pointer_type_cache and calling POINTER on a string.

Co-authored-by: neonene <53406459+neonene@users.noreply.github.com>
Co-authored-by: Jun Komoda <45822440+junkmd@users.noreply.github.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-112936: Fix IDLE: no Shell menu item in single-process mode (GH-126598)

gh-132995: Upgrade bundled pip to 25.1.1 (gh-132997)

* gh-132995: Upgrade bundled pip to 25.1.1

gh-132744: Check recursion limit in CALL_PY_GENERAL (GH-132746)

gh-128972: Add `_Py_ALIGN_AS` and revert `PyASCIIObject` memory layout. (GH-133085)

Add `_Py_ALIGN_AS` as per C API WG vote: https://github.com/capi-workgroup/decisions/issues/61
This patch only adds it to free-threaded builds; the `#ifdef Py_GIL_DISABLED`
can be removed in the future.

Use this to revert `PyASCIIObject` memory layout for non-free-threaded builds.
The long-term plan is to deprecate the entire struct; until that happens
it's better to keep it unchanged, as courtesy to people that rely on it despite
it not being stable ABI.

gh-121249: fix complex formatting codes in the struct docs (note 10) (GH-133249)

This amends 85f89cb.

GH-133171: Prevent combinations of --disable-gil and --enable-experimental-jit... for now (GH-133179)

gh-121249: unconditionally support `complex` types in `struct` (GH-132864)

Co-authored-by: Lisandro Dalcin <dalcinl@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-133300: argparse: make `suggest_on_error` a keyword-only parameter (#133302)

gh-133164: Add `PyUnstable_Object_IsUniqueReferencedTemporary` C API (gh-133170)

After gh-130704, the interpreter replaces some uses of `LOAD_FAST` with
`LOAD_FAST_BORROW` which avoid incref/decrefs by "borrowing" references
on the interpreter stack when the bytecode compiler can determine that
it's safe.

This change broke some checks in C API extensions that relied on
`Py_REFCNT()` of `1` to determine if it's safe to modify an object
in-place. Objects may have a reference count of one, but still be
referenced further up the interpreter stack due to borrowing of
references.

This provides a replacement function for those checks.
`PyUnstable_Object_IsUniqueReferencedTemporary` is more conservative:
it checks that the object has a reference count of one and that it exists as a
unique strong reference in the interpreter's stack of temporary
variables in the top most frame.

See also:

* https://github.com/numpy/numpy/issues/28681

Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: T. Wouters <thomas@python.org>
Co-authored-by: mpage <mpage@cs.stanford.edu>
Co-authored-by: Mark Shannon <mark@hotpy.org>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-130645: Add color to `argparse` help (GH-132323)

gh-133210: Fix `test_descr` in `--without-doc-strings` mode (#133294)

gh-132385: Fix instance error suggestions trigger potential exceptions in `traceback` (#132387)

gh-133279: Assert with HAS_TARGET in the codegen_addop_j function (#133280)

gh-133290: Use PyObject_SetAttr to set _type_ (GH-133292)

Docs: delete title links in `turtle.rst` and `typing.rst` (#133283)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-130482: Add ability to specify name for tkinter.OptionMenu and tkinter.ttk.OptionMenu (GH-130502)

gh-133197: Improve error message for incompatible string / bytes prefixes (#133242)

gh-133210: Fix `test_pydoc` in `--without-doc-strings` mode (#133271)

gh-123539: Improve SyntaxError msg for `import as` with not a name (#123629)

gh-123299: Add missing pending removals (#133082)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-119605: Respect `follow_wrapped` for `__init__` and `__new__` when getting class signature with `inspect.signature` (#132055)

gh-133259: Show path to python.sh script on successful build (#133268)

* gh-133259: Show path to python.sh script on successful build

* wasmtime -> (generic) wasm runtime

gh-133258: Fix crash in test_index (GH-133262)

gh-133261: Use __builtin_frame_address() on GCC 9 and older (#133269)

GCC 9 and older don't have __has_builtin(), but have
__builtin_frame_address() function.

gh-130197: Test pygettext --output option (GH-133041)

gh-133210: Fix `test_inspect` in `--without-doc-strings` mode (#133250)

gh-133256: Add _Py_NONSTRING macro (#133257)

Fix GCC 15 compiler warnings such as:

    Modules/fcntlmodule.c:27:36: warning: initializer-string for
    array of 'char' truncates NUL terminator but destination lacks
    'nonstring' attribute (9 chars into 8 available)
    [-Wunterminated-string-initialization]
    static const char guard[GUARDSZ] = "\x00\xfa\x69\xc4\x67\xa3\x6c\x58";

gh-130317: Fix test_pack_unpack_roundtrip() and add docs (#133204)

* Skip sNaN's testing in 32-bit mode.
* Drop float_set_snan() helper.
* Use memcpy() workaround for sNaN's in PyFloat_Unpack4().
* Document, that sNaN's may not be preserved by PyFloat_Pack/Unpack API.

gh-132930: Include IDLE path in registry for PyManager packages (GH-133246)

gh-130197: Improve test coverage of msgfmt.py (GH-133048)

gh-133166: Fix missing error emission of PyType_GetModuleByDef (GH-133240)

gh-124715: Fix method_dealloc(): use PyObject_GC_UnTrack() (#133199)

Replace _PyObject_GC_UNTRACK() with PyObject_GC_UnTrack() to not fail
if the method was already untracked.

gh-130655: Add a test for big-endian MO files in gettext (GH-132469)

Remove duplicate includes: Python/{bytecodes,ceval,optimizer_analysis}.c (#132622)

gh-100239: specialize BINARY_OP/SUBSCR for list-slice (#132626)

PyStats: Make sure that the `failure_kinds` array is big enough. (#133245)

Lint: Create a project-wide ``.ruff.toml`` settings file (#133124)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-133196: Guard PEP 750 grammar with `CHECK_VERSION` (#133225)

gh-131531: Make Android build retry after network failures (#133193)

Adds a retry strategy when downloading compilation resources for Android, plus some other cleanups.

gh-130167: Improve ``difflib.IS_LINE_JUNK`` performance by using string methods (#130170)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Tim Peters <tim.peters@gmail.com>

Add missing whitespace in `is_running_main` comment (#133174)

Bump the HACL* revision. (#133226)

Bump the HACL* revision to include iOS platform identification.

gh-133183: Include IPHONEOS_DEPLOYMENT_TARGET in iOS shim targets. (#133184)

Include IPHONEOS_DEPLOYMENT_TARGET in iOS shim targets.

Revert "gh-132775: Add _PyCode_GetVarCounts() (gh-133128)" (gh-133232)

The change broke the s390 builds, so I'm reverting it while I investigate.

This reverts commit 94b4fcd806e7b692955173d309ea3b70a193ad96.

dict: Remove redundant incref of immortal object Py_EMPTY_KEYS (GH-133200)

gh-132775: Add _PyPickle_GetXIData() (gh-133107)

There's some extra complexity due to making sure we we get things right when handling functions and classes defined in the __main__ module.  This is also reflected in the tests, including the addition of extra functions in test.support.import_helper.

GH-125515: Remove two unused error branches. (#133181)

Remove two unused error branches in the generated bytecode handling.

gh-133153: Use rlcompleter for pdb's interact command (#133176)

gh-133213: Add tests for `string.templatelib.TemplateIter` (#133215)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-132775: Add _PyCode_GetVarCounts() (gh-133128)

This helper is useful in a variety of ways, including in demonstrating how the different counts relate to one another.

It will be used in a later change to help identify if a function is "stateless", meaning it doesn't have any free vars or globals.

Note that a majority of this change is tests.

GH-114809: Add support for macOS multi-arch builds with the JIT enabled (#131751)

Co-authored-by: Ronald Oussoren <ronaldoussoren@mac.com>
Co-authored-by: Brandt Bucher <brandtbucher@microsoft.com>

Apply 'mod' role to typing module (#133201)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-133197: Improve error message for `ft""` and `bt""` cases (#133202)

Remove redundant ``--keep-going`` when running Sphinx (#133156)

gh-133211: Test that PEP750 types are final (#133212)

gh-133167: Fix compilation process with `--enable-optimizations` and `--without-docstrings` (#133187)

gh-87135: test_threading: Wait on thread, not an Event it sets (GH-133198)

When the event is set the thread might not be done yet.

This is a fix-up for commit 4ebbfcf30e0e2d87ff6036d4d1de0f6f0ef7c46a

gh-131591: Add tests for _PdbClient (#132976)

gh-89867: string.Formatter auto numbering doc updates (GH-129617)

gh-133194: Add `CHECK_VERSION` to new PEP758 grammar (#133195)

GH-124715: Move trashcan mechanism into `Py_Dealloc` (GH-132280)

gh-130317: Skip test_pack_unpack_roundtrip_for_nans() on x86 (#133155)

Reduce also the number of iterations from 1000 to 10 to ease
debugging failures and prevent "command line too line" error when
tests are re-run.

gh-132661: Implement PEP 750 (#132662)

Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Wingy <git@wingysam.xyz>
Co-authored-by: Koudai Aono <koxudaxi@gmail.com>
Co-authored-by: Dave Peck <davepeck@gmail.com>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Paul Everitt <pauleveritt@me.com>
Co-authored-by: sobolevn <mail@sobolevn.me>

gh-133117: Run mypy on `tomllib` in CI (#133118)

Remove trailing whitespace from python.gram (#133175)

gh-127604: Optimize -ldl usage on platforms that use dlopen for libFFI. (#133081)

Optimize -ldl usage on platforms that use dlopen for libFFI.

Add `profile-gen-stamp` to `.gitignore` (#133188)

gh-116436: Improve error message when TypeError occurs during dict update (#116443)

gh-133036: Deprecate codecs.open (#133038)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

Get rid of ERROR_IF's "label" parameter (GH-132654)

GH-125515: Mark code after "return" as unreachable in the cases generator (#133178)

Mark code after "return" as unreachable

gh-133131: Discover an appropriate iOS simulator rather than hard-coding iPhone SE 3rd gen (#133132)

Determines a candidate simulator at runtime rather than hardcoding iPhone SE.

gh-120220: Deprecate legacy methods for tracing variables in Tkinter (GH-120223)

They do not work with Tcl 9.0.
Use new methods added in Python 3.6.

Docs: fix typo in `InternalDocs/garbage_collector.md` (gh-133151)

Fix typo in `InternalDocs/garbage_collector.md`.