Adds docs to help with troubleshooting pip installs. (GH-133692)

(cherry picked from commit dd670fa7ca1db79d6daaac807ac924aa547257d0)

Co-authored-by: Steve Dower <steve.dower@python.org>

[3.14] gh-133403: Check `Tools/build/verify_ensurepip_wheels.py` with mypy (GH-133453) (#133689)

gh-133403: Check `Tools/build/verify_ensurepip_wheels.py` with mypy (GH-133453)
(cherry picked from commit 5f3d3f2a6c8ddf7a6be340c3f4c696e2a5eb51f0)

Co-authored-by: Flosckow <66554425+Flosckow@users.noreply.github.com>
Co-authored-by: Daniil Dumchenko <dumchenko.de@sibvaleo.com>
Co-authored-by: sobolevn <mail@sobolevn.me>

[3.14] gh-132762: Fix underallocation bug in `dict.fromkeys()`(gh-133627) (gh-133685)

The function `dict_set_fromkeys()` adds elements of a set to an existing
dictionary. The size of the expanded dictionary was estimated with
`PySet_GET_SIZE(iterable)`, which did not take into account the size of the
existing dictionary.
(cherry picked from commit 421ba589d02b53131f793889d221ef3b1f1410a4)

Co-authored-by: Angela Liss <59097311+angela-tarantula@users.noreply.github.com>

[3.14] gh-132886: use relaxed atomics for `sock_fd` in gil builds in socket module (GH-133208) (#133683)

gh-132886: use relaxed atomics for `sock_fd` in gil builds in socket module (GH-133208)
(cherry picked from commit 2d82ab761ab8051440e486ca68355514f3df42aa)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

[3.14] gh-132775: Add _PyCode_GetScriptXIData() (gh-133676)

This converts functions, code, str, bytes, bytearray, and memoryview objects to PyCodeObject,
and ensure that the object looks like a script.  That means no args, no return, and no closure.
_PyCode_GetPureScriptXIData() takes it a step further and ensures there are no globals.

We also add _PyObject_SupportedAsScript() to the internal C-API.

(cherry picked from commit c81fa2b9cd1ed4d4ff5c13984d6582c27e5f2633, AKA gh-133480)

Co-authored-by: Eric Snow <ericsnowcurrently@gmail.com>

[3.14] gh-131031: Fix test_pickle when invoked directly (GH-133356) (GH-133673)

(cherry picked from commit e15bbfafbcc9153fa0b05beb806984e288fdefe4)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

[3.14] gh-133581: Improve AST unparsing of t-strings (GH-133635) (#133666)

gh-133581: Improve AST unparsing of t-strings (GH-133635)
(cherry picked from commit bfac7d2edc6e461e21b4762f8db03fca85f3a0be)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

[3.14] gh-133454: Mark tests with many threads that use much memory as bigmem (GH-133456) (GH-133663)

(cherry picked from commit 26839eae2079bd797491dfdcc00eaca1dbcbf77c)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-133597: Fix memory leak if error occurred in _sys_getwindowsversion_from_kernel32 (GH-133598)

(cherry picked from commit 0ec8fc83a83914d2ae97e52529e98ce63aaf831c)

Co-authored-by: Sergey Miryanov <sergey.miryanov@gmail.com>

[3.14] gh-133583: Add support for fixed size unsigned integers in argument parsing (GH-133584) (GH-133650)

* Add Argument Clinic converters: uint8, uint16, uint32, uint64.
* Add private C API: _PyLong_UInt8_Converter(),
  _PyLong_UInt16_Converter(), _PyLong_UInt32_Converter(),
  _PyLong_UInt64_Converter().
(cherry picked from commit 4c914e7a36033d5e8d52cdef3a4063eb9b012ed2)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

[3.14] gh-127833: Add links to token types to the lexical analysis intro (GH-131468) (#133652)

gh-127833: Add links to token types to the lexical analysis intro (GH-131468)
(cherry picked from commit 45bb5ba61a8d6dcaa44312b67fe6bade5e2ad992)

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

[3.14] Doc: Allow translating a code block in the tutorial (GH-131353) (#133648)

Doc: Allow translating a code block in the tutorial (GH-131353)
(cherry picked from commit 3224b99872d8ed030181e5d009ea64e8672a68ee)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Chris Markiewicz <effigies@gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

[3.14] gh-133639: Fix `test_auto_indent_default()` doesn't run `input_code` (GH-133640) (#133646)

[3.14] gh-133641: Doc: Add missing source link in ``concurrent.futures`` (GH-133642) (#133643)

gh-133641: Doc: Add missing source link in ``concurrent.futures`` (GH-133642)
(cherry picked from commit 4fcd37756382206e5a4a387cec9266815adca007)

Co-authored-by: Jonas Obrist <ojiidotch@gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

[3.14] gh-125028: Prohibit placeholders in partial keywords (GH-126062) (GH-133645)

(cherry picked from commit afed5f88359c73f798ff6f0064e37ac1a1f0759b)

Co-authored-by: dgpb <3577712+dg-pb@users.noreply.github.com>

[3.14] gh-132983: Remove pyzstd in identifiers (GH-133535) (#133629)

[3.14] gh-133403: Type `Tools/build/update_file.py` and check it with `mypy` (GH-133404) (#133603)

gh-133403: Type `Tools/build/update_file.py` and check it with `mypy` (GH-133404)
(cherry picked from commit 50b52cba2d13a1854bc835412ac3f3c0ad42b5ba)

Co-authored-by: sobolevn <mail@sobolevn.me>
Co-authored-by: Zachary Ware <zach@python.org>

[3.14] gh-133551: Skip annotationlib for now in ast roundtrip tests (GH-133634) (#133636)

gh-133551: Skip annotationlib for now in ast roundtrip tests (GH-133634)
(cherry picked from commit 0a3ccb8dff2bd140f800d9e0b00549d8f1ead929)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

[3.14] gh-133555: Allow regenerating the parser with Python < 3.14 (GH-133557) (#133630)

gh-133555: Allow regenerating the parser with Python < 3.14 (GH-133557)
(cherry picked from commit b48599b8017f896c965e89c402bb70feef49808a)

Co-authored-by: Alex Prengère <2138730+alexprengere@users.noreply.github.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

[3.14] gh-127833: lexical analysis: Add backticks to BOM example (GH-132407) (#133632)

gh-127833: lexical analysis: Add backticks to BOM example (GH-132407)
(cherry picked from commit 0552ce0fb24d33b51fdd02a589ede95aabc0d8b5)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

[3.14] gh-133551: Support t-strings in annotationlib (GH-133553) (#133628)

gh-133551: Support t-strings in annotationlib (GH-133553)

I don't know why you'd use t-strings in annotations, but now if you do,
the STRING format will do a great job of recovering the source code.
(cherry picked from commit 90f476e0f8dbb3a8603f67200c2422fb098c166c)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

[3.14] gh-132775: Unrevert "Add _PyCode_VerifyStateless()" (gh-133625)

This reverts commit 3c73cf5 (gh-133497), which itself reverted
the original commit d270bb5 (gh-133221).

We reverted the original change due to failing android tests.
The checks in _PyCode_CheckNoInternalState() were too strict,
so we've relaxed them.

[3.14] gh-133516: Raise `ValueError` when constants `True`, `False` or `None` are used as an identifier after NFKC normalization (GH-133523) (#133596)

[3.14] gh-133558: Skip test_pdb tests on FreeBSD (GH-133566) (#133616)

gh-133558: Skip test_pdb tests on FreeBSD (GH-133566)

'\x08' is not interpreted as backspace on FreeBSD.
(cherry picked from commit 79b8a32fcb30b2c6549bacecdc7081ebd50d6e17)

Co-authored-by: Victor Stinner <vstinner@python.org>

[3.14] gh-133361: move the explanation of dict equal before its use (GH-133424) (#133620)

gh-133361: move the explanation of dict equal before its use (GH-133424)

Also move up the explanation of insertion order preservation.  Both paragraphs seemed out of place down where they were.
---------
(cherry picked from commit 61ac88c06e0286cfc6465a47552d41b7dd7e083e)

Co-authored-by: Yongzi Li <1538321957@qq.com>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

[3.14] gh-131535: Fix stale example in html.parser docs, make examples doctests (GH-131551) (GH-133589)

(cherry picked from commit ee76e36d76a0e6916c0afc41228b043ab5174685)

[3.14] Forward-port 'check-abi' CI job from 3.13 (GH-133614)

Also add the python3.14.abi file as generated by the new job and remove
the 'main branch only' entry from .gitignore.

The only difference from the 3.13 job is the addition of `with.python-version: 3.x`
to the `setup-python` configuration to pacify a warning.

Post 3.14.0b1

Python 3.14.0b1

Python 3.14.0b1

gh-123299: Copyedit "What's New in Python 3.14" (#133452)

Co-authored-by: Daniel Hollas <danekhollas@gmail.com>

GH-132983: Remove zstd version check in the header file (#133502)

gh-77065: Add optional keyword-only argument `echo_char` for `getpass.getpass` (#130496)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-132917: Fix data race detected by tsan (#133508)

Fix data race detected by tsan
(https://github.com/python/cpython/actions/runs/14857021107/job/41712717208?pr=133502):
young.count can be modified by other threads even while the gcstate is
locked.

This is the simplest fix to (potentially) unblock beta 1, although this
particular code path seems like it could just be an atomic swap followed by
an atomic add, without having the lock at all.

Revert "gh-133395: add option for extension modules to specialize BINARY_OP/SUBSCR, apply to arrays (#133396)" (#133498)

gh-132775: Revert "gh-132775: Add _PyCode_VerifyStateless() (gh-133221)" (#133497)

gh-133490: Fix syntax highlighting for remote PDB (#133494)

gh-132983: Add What's New entry for PEP 784 implementation (#133495)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-81793: Replace skip decorators with specific helpers (GH-133493)

typing: Modernize type annotations on IO classes (#133487)

Remove unnecessary strings, use of Union[], use of List[], and reliance
on implicit Optional.

These type annotations are not actually used for anything but I feel
we should set a good example.

gh-133490: Add color support to remote PDB (#133491)

GH-113464: Add the JIT to What's New (GH-133486)

gh-132493: Avoid eager evaluation of annotations in `@reprlib.recursive_repr()` (#133411)

gh-130117: Document why nested `Union`, `Literal`, and `Annotated` types referenced through a type alias are not flattened (#130119)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

Remove duplicate includes: Include/internal/ (#132624)

gh-132983: Add the `compression.zstd` pacakge and tests (#133365)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>
Co-authored-by: Tomas R. <tomas.roun8@gmail.com>
Co-authored-by: Rogdham <contact@rogdham.net>

GH-132983: Use a standard autoconf version check for zstd (#133479)

gh-102567: Add -X importtime=2 for logging an importtime message for already-loaded modules (#118655)

Co-authored-by: Adam Turner <9087854+aa-turner@users.noreply.github.com>

GH-132983: Build ``_zstd`` on Windows (#133366)

gh-132775: Add _PyCode_GetXIData() (gh-133475)

gh-132775: Do Not Set __name__ to __main__ With _PyPickle_GetXIData() (gh-133472)

This is a follow-up to gh-133107.  I realized that we could end up with an
infinite recursion if we try to run a function from __main__ in a subinterpreter.

gh-91048: Add filename:line_no information to `asyncio pstree` (#133478)

gh-118761: Add test_lazy_import for more modules (#133057)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-133231: Add JIT utilities in sys._jit (GH-133233)

gh-133469: Adds to advanced section on installing PyManager (GH-133471)

gh-132775: Add _PyCode_VerifyStateless() (gh-133221)

"Stateless" code is a function or code object which does not rely on external state or internal state.
It may rely on arguments and builtins, but not globals or a closure. I've left a comment in
pycore_code.h that provides more detail.

We also add _PyFunction_VerifyStateless(). The new functions will be used in several later changes
that facilitate "sharing" functions and code objects between interpreters.

gh-133346: Make theming support in _colorize extensible (GH-133347)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

GH-131798: Split CALL_LEN into several uops (GH-133180)

gh-132917: Use RSS + swap for estimate of process memory usage (gh-133464)

gh-132017: Handle SIGCONT in `pyrepl` (#132918)

GH-133261: Make sure trashcan pointers look mortal -- 32 bit (GH-133450)

Make sure trashcan pointer look mortal -- 32 bit

gh-132975: Improve Remote PDB interrupt handling (#133223)

gh-132775: Unrevert "Add _PyCode_GetVarCounts()" (gh-133265)

This reverts commit 811edcf (gh-133232), which itself reverted the original commit 811edcf (gh-133128).

We reverted the original change due to failing s390 builds (a big-endian architecture).
It ended up that I had not accommodated op caches.

gh-133140: Add `PyUnstable_Object_IsUniquelyReferenced` for free-threading (#133144)

gh-133349: Enable auto-indent for pdb's multi-line mode (#133350)

gh-130645: Add color to stdlib argparse CLIs (gh-133380)

gh-133367: Add missing options to `ast` CLI (#133369)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: sobolevn <mail@sobolevn.me>

gh-132917: Check resident set size (RSS) before GC trigger. (gh-133399)

For the free-threaded build, check the process resident set size (RSS)
increase before triggering a full automatic garbage collection.  If the RSS
has not increased 10% since the last collection then it is deferred.

GH-123599: `url2pathname()`: don't call `gethostbyname()` by default (#132610)

Follow-up to 66cdb2bd8ab93a4691bead7f5d1e54e5ca6895b4.

Add *resolve_host* keyword-only argument to `url2pathname()`, defaulting to
false. When set to true, we call `socket.gethostbyname()` to resolve the
URL hostname.

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Steve Dower <steve.dower@microsoft.com>

gh-133395: add option for extension modules to specialize BINARY_OP/SUBSCR, apply to arrays (#133396)

GH-132439: Fix REPL swallowing characters entered with AltGr on cmd.exe (GH-132440)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

gh-131296: Avoid posixmodule.c warning (GH-133142)

Clang-cl detects that on 32-bit builds the variable is always smaller than the value. But since the same code is used for other architectures, we can't just _fix_ it. This cast avoids the tautological-constant-out-of-range-compare warning.

gh-131878: Fix input of unicode characters with two or more code points in new pyrepl on Windows (gh-131901)

Co-authored-by: Tomas R. <tomas.roun8@gmail.com>
Co-authored-by: Chris Eibl <138194463+chris-eibl@users.noreply.github.com>

gh-132143: Fix the `AssertionError` in the test case `test.test_sys.TestRemoteExec` (#132248)

gh-63882: Break down `and` tests in `test_minidom` (#133026)

gh-110067: Make max heap methods public and add missing ones (GH-130725)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-82129: Improve annotations for make_dataclass() (#133406)

Co-authored-by: sobolevn <mail@sobolevn.me>
Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-119180: Make the FORWARDREF format work with more kinds of runtime errors (#133407)

GH-133336: Remove reserved ``-J`` flag for Jython (#133444)

Revert "gh-124715: Fix method_dealloc(): use PyObject_GC_UnTrack() (#133199)" (#133434)

This reverts commit 662dd294563ce86980c640ad67e3d460a72c9cb9.

The root issue was fixed by the
commit f554237b8ef6c60df651ac17eb0ef0c095cef185.

gh-131878: Handle top level exceptions in new pyrepl and prevent of closing it (#131910)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-61103: drop unused Py_HAVE_C_COMPLEX define (GH-133435)

Py_HAVE_C_COMPLEX was added in 3.14 so the removal doesn't need a deprecation
period even under a strict reading of PEP 387.

The Py_FFI_SUPPORT_C_COMPLEX check configure check implies support for
complex types in ctypes.

gh-131747: ctypes: Deprecate _pack_ implicitly setting _layout_ = 'ms' (GH-133205)

On non-Windows, warn when _pack_ implicitly changes default _layout_
to 'ms'.

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

GH-133261: Make sure that the GC doesn't untrack objects in trashcan (GH-133431)

gh-133419: fix test_external_inspection race assert (#133433)

Follow-up of commit c4cc5d58aee6a3be55a95efee6ec25d5774f7b5f,
fix more tests.

gh-107006: Move `threading.local` docstring to docs (#131840)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

Bump mypy to 1.15 (#133405)

gh-61103: don't use C _Complex types to implement F/D/G in ctypes (GH-133237)

According to the C standard, the memory representation of _Complex types
is equivalent to 2-element arrays. Unlike _Complex, arrays are always available.

- drop _complex.h header
- use appropriate real arrays to replace complex types

Co-authored-by: Lisandro Dalcin <dalcinl@gmail.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

GH-133410: Use commit hashes for change detection (gh-133416)

gh-113081: Highlight source code in pdb (#133355)

gh-128307:  Support eager_start=<bool> in create_eager_task_factory and various create_task functions (#128306)

Some create_task() functions were changed from `name=None, context=None` to `**kwargs`.

Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>

[GH-133419] fix test_external_inspection race assert (#133422)

[tests] fix test_external_inspection race assert

either line could be where the inspection finds the foo()
function as after ready is sent, the process may not have made progress
onto the next line yet.  "solve" by putting the statements on the same
line.

[tests] test_subprocess maybe avoid a timeout race condition? (#133420)

The few buildbot failures on https://github.com/python/cpython/pull/133103
are possibly just due to racing a child process launch and exit?

gh-133371: Don't optimize `LOAD_FAST` instructions whose local is killed by `DELETE_FAST` (#133383)

In certain cases it's possible for locals loaded by `LOAD_FAST` instructions
to be on the stack when the local is killed by `DEL_FAST`. These `LOAD_FAST`
instructions should not be optimized into `LOAD_FAST_BORROW` as the strong
reference in the frame is killed while there is still a reference on the stack.

gh-133089: Use original timeout value for `TimeoutExpired` when the func `subprocess.run` is called with a timeout (GH-133103)

Signed-off-by: Manjusaka <me@manjusaka.me>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-133376: build: allow parser.c to be created if missing (#133378)

GH-91048: Minor fixes for ``_remotedebugging`` & rename to ``_remote_debugging`` (#133398)

gh-131421: Fix ASDL tests (#133408)

PR #131419 broke this, but we failed to run tests on the PR due to a bug
in our script.

gh-131421: fix ASDL grammar for `Dict` to have an `expr?*` keys field (#131419)

In the `ast` documentation for Python:

* https://docs.python.org/3/library/ast.html#ast.Dict
it is made clear that:

> When doing dictionary unpacking using dictionary literals the expression to be expanded goes in the values list, with a `None` at the corresponding position in `keys`.

Hence, `keys` is really a `expr?*` and *not* a `expr*`.

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-125618: Make FORWARDREF format succeed more often (#132818)

Fixes #125618.