gh-118729: Temporarily skip `test_multiprocessing_pool_circular_import` (#118732)

The `pool_in_threads.py` test file may crash in free-threaded builds,
which can lead to the Tsan test hanging. Skip it for now until we fix
the underlying issue.

gh-118650: Document `Enum._repr_*` reservation exclusion (GH-118698)

gh-118518: Improve perf docs (#118708)

gh-111201: Allow pasted code to contain multiple statements in the REPL (#118712)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-115773: Use the right variable name based on the field we are trying read (#118591)

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>

gh-118682: Revert forcing str commands, allow class commands in pyrepl (#118709)

gh-118660: Add second type parameter to (Async)ContextManager (#118681)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Remove Python 3.5 hardcoded version in the tutorial appendix (GH-117612)

gh-111201: Allow bracketed paste to work (GH-118700)

Remove several unused imports in `_pyrepl` (#118668)

gh-66410: Do not stringify arguments of Tkinter callback (GH-98592)

Callbacks registered in the tkinter module now take arguments as
various Python objects (int, float, bytes, tuple), not just str.
To restore the previous behavior set tkinter module global wantobject to 1
before creating the Tk object or call the wantobject() method of the Tk object
with argument 1.
Calling it with argument 2 restores the current default behavior.

gh-118090: Improve error message for empty type param brackets (GH-118091)

gh-118518: Rename `PYTHONPERFJITSUPPORT` and `-X perfjit` with underscores (#118693)

gh-118310: Fix documentation for `enum.Enum.__new__` (GH-118311)

The provided example was incorrect:
- The example enum was missing the `int` mixin as implied by the context
- The value of `int('1a', 16)` was incorrectly given as 17
  (should be 26)

gh-109653: What's new: Note improved import times for several stdlib modules in Python 3.13 (#118697)

gh-118418: Deprecate failing to pass a value to the *type_params* parameter of some private `typing` APIs (#118695)

gh-118119: Re-use `sep` in `posixpath.expanduser()` (GH-118120)

gh-118650: Exclude `_repr_*` methods from Enum's _sunder_ reservation (GH-118651)

gh-109975: Update 'What's New in Python 3.13' for beta (#118694)

Fix several typos in documentation (GH-118625)

gh-118314: Fix padding edge case in binascii.a2b_base64 strict mode (GH-118320)

Fix an edge case in `binascii.a2b_base64` strict mode, where
excessive padding was not detected when no padding is necessary.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>

gh-117657: Use clang 18 in TSAN builds (GH-118533)

Use clang 18 in TSAN builds

We were using clang 14 which is a couple of years old.

Fix typo inaccuracy in _bootstrap_external.py (GH-118619)

gh-62090: Simplify argparse usage formatting (GH-105039)

Rationale
=========

argparse performs a complex formatting of the usage for argument grouping
and for line wrapping to fit the terminal width. This formatting has been
a constant source of bugs for at least 10 years (see linked issues below)
where defensive assertion errors are triggered or brackets and paranthesis
are not properly handeled.

Problem
=======

The current implementation of argparse usage formatting relies on regular
expressions to group arguments usage only to separate them again later
with another set of regular expressions. This is a complex and error prone
approach that caused all the issues linked below. Special casing certain
argument formats has not solved the problem. The following are some of
the most common issues:
- empty `metavar`
- mutually exclusive groups with `SUPPRESS`ed arguments
- metavars with whitespace
- metavars with brackets or paranthesis

Solution
========

The following two comments summarize the solution:
- https://github.com/python/cpython/issues/82091#issuecomment-1093832187
- https://github.com/python/cpython/issues/77048#issuecomment-1093776995

Mainly, the solution is to rewrite the usage formatting to avoid the
group-then-separate approach. Instead, the usage parts are kept separate
and only joined together at the end. This allows for a much simpler
implementation that is easier to understand and maintain. It avoids the
regular expressions approach and fixes the corresponding issues.

This closes the following GitHub issues:
-  #62090
-  #62549
-  #77048
-  #82091
-  #89743
-  #96310
-  #98666

These PRs become obsolete:
-  #15372
-  #96311

gh-118107: Fix zipimporter ZIP64 handling. (GH-118108)

Add missing import to code that handles too large files and offsets.
Use list, not tuple, for a mutable sequence.

Add tests to prevent similar mistakes.

---------

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>
Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

Update macOS installer screens and README for 3.13.0b1 (GH-118685)

gh-118414: Fix assertion in YIELD_VALUE when tracing lines or instrs (#118683)

gh-117953: Always Run Extension Init Func in Main Interpreter First (gh-118157)

This change makes sure all extension/builtin modules have their init function run first by the main interpreter before proceeding with import in the original interpreter (main or otherwise).  This means when the import of a single-phase init module fails in an isolated subinterpreter, it won't tie any global state/callbacks to the subinterpreter.

gh-117953: Imply Single-phase Init if the Init Function Fails (gh-118684)

This ensures the kind is always either _Py_ext_module_kind_SINGLEPHASE or _Py_ext_module_kind_MULTIPHASE.

gh-116322: Enable the GIL while loading C extension modules (#118560)

Add the ability to enable/disable the GIL at runtime, and use that in
the C module loading code.

We can't know before running a module init function if it supports
free-threading, so the GIL is temporarily enabled before doing so. If
the module declares support for running without the GIL, the GIL is
later disabled. Otherwise, the GIL is permanently enabled, and will
never be disabled again for the life of the current interpreter.

Docs: add whatsnew for free-threading (#118679)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-110209: Add __class_getitem__ for generator and coroutine (#110212)

GH-116380: Revert move of pathlib globbing code to `pathlib._glob` (#118678)

The previous change made the `glob` module slower to import, because it
imported `pathlib._glob` and hence the rest of `pathlib`.

Reverts a40f557d7b7a355a55bb90c068e3e9202fd9c8f2.

gh-112075: use per-thread dict version pool (#118676)

use thread state set of dict versions

gh-118527: Intern code consts in free-threaded build (#118667)

We already intern and immortalize most string constants. In the
free-threaded build, other constants can be a source of reference count
contention because they are shared by all threads running the same code
objects.

gh-118473: Fix set_asyncgen_hooks not to be partially set when arguments are invalid (#118474)

gh-118362: Skip tests when threading isn't available (#118666)

* Skip tests when threads aren't available

* Use ThreadPoolExecutor

gh-112075: Fix race in constructing dict for instance (#118499)

GH-118251: Bump the JIT CI timeout to 90 minutes (#118661)

gh-117486: Improve behavior for user-defined AST subclasses (#118212)

Now, such classes will no longer require changes in Python 3.13 in the normal case.
The test suite for robotframework passes with no DeprecationWarnings under this PR.

I also added a new DeprecationWarning for the case where `_field_types` exists
but is incomplete, since that seems likely to indicate a user mistake.

fix typo in `_pyrepl.pager`: `plainpager` -> `plain_pager` (#118675)

Use Intel with 12 cores for free-threading tests for maximum speedup (#118677)

gh-118647: Add defaults to typing.Generator and typing.AsyncGenerator (#118648)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

Test premium Mac builders (#118672)

gh-118527: Intern code name and filename on default build (#118576)

Interned and non-interned strings are treated differently by `marshal`,
so be consistent between the default and free-threaded build.

GH-115709: Invalidate executors when a local variable is changed via frame.f_locals (#118639)

Also fix unrelated assert in debug Tier2/JIT builds.

gh-118415: Fix issues with local tracing being enabled/disabled on a function (#118496)

gh-118628: Don't display pyrepl warning on Windows (#118665)

gh-71592: Fix a leak in tkinter.Tk destructor when _debug is true (GH-118664)

gh-115119: Default to --with-system-libmpdec=yes (#118539)

Co-authored-by: Zachary Ware <zachary.ware@gmail.com>

GH-83151: Add closure support to pdb (GH-111094)

gh-118362: Fix thread safety around lookups from the type cache in the face of concurrent mutators (#118454)

Add _PyType_LookupRef and use incref before setting attribute on type
Makes setting an attribute on a class and signaling type modified atomic
Avoid adding re-entrancy exposing the type cache in an inconsistent state by decrefing after type is updated

gh-118518: Ensure that the code padding it's applied (#118654)

GH-117714: implement athrow().close() and asend().close() using throw (GH-117906)

* GH-117714: replace athrow().close() and asend().close() stubs with implimentations

* test athrow().close() and asend().close() raises RuntimeError

* 📜🤖 Added by blurb_it.

* Update Objects/genobject.c

Co-authored-by: Petr Viktorin <encukou@gmail.com>
---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-71592: Add ability to trace Tcl commands executed by Tkinter (GH-118291)

This is an experimental feature, for internal use.

Setting tkinter._debug = True before creating the root window enables
printing every executed Tcl command (or a Tcl command equivalent to the
used Tcl C API).

This will help to convert a Tkinter example into Tcl script to check
whether the issue is caused by Tkinter or exists in the underlying Tcl/Tk
library.

gh-116322: Rename PyModule_ExperimentalSetGIL to PyUnstable_Module_SetGIL (GH-118645)

GH-115577 Clarify netloc term usage in urllib.parse docs (GH-117632)

gh-118609: Add proper error check for framelocalsproxy (#118615)

gh-118271: Support more options for reading/writing images in Tkinter (GH-118273)

* Add PhotoImage.read() to read an image from a file.
* Add PhotoImage.data() to get the image data.
* Add background and grayscale parameters to PhotoImage.write().

Fix typo in Doc/library/asyncio-task.rst (GH-118627)

gh-118225: Support more options for copying images in Tkinter (GH-118228)

* Add the PhotoImage method copy_replace() to copy a region
  from one image to other image, possibly with pixel zooming and/or
  subsampling.
* Add from_coords parameter to PhotoImage methods copy(), zoom() and subsample().
* Add zoom and subsample parameters to PhotoImage method copy().

gh-118518: Correct type of perf_profiling in config (#118646)

Fix typo in Lib/zipfile/_path/__init__.py (#118622)

gh-116871: Improve name suggestions in tracebacks (GH-116930)

Only include underscored names in name suggestions for AttributeError and
ImportError if the original name was underscored.

gh-66543: Add mimetypes.guess_file_type() (GH-117258)

gh-111201: Use a more common constant in completion tests in test_pyrepl (#118638)

gh-74929: Make containment checks more efficient in `FrameLocalsProxy` (#118624)

Properly implement the `sq_contains` slot for frame locals proxy containment checks.

gh-74929: locals() documentation update for PEP 667 (#118265)

Documentation wording taken from the
withdrawn PEP 558 (which had switched to the
Python level semantics proposed in PEP 667 prior
to its withdrawal).

gh-111201: Fix event queue tests for pyrepl (#118635)

gh-118465: Add __firstlineno__ attribute to class (GH-118475)

It is set by compiler with the line number of the first line of
the class definition.

gh-115119: Bump CI to use Ubuntu 22.04 (#118631)

Ubuntu 22.04 ships with mpdecimal 2.5.1, installable using 'apt install libmpdec-dev'.

gh-95382: Improve performance of json encoder with indent (GH-118105)

gh-78955: Use user-selected color theme for Help => IDLE Doc (#9502)

gh-118613: Fix error handling of `_PyEval_GetFrameLocals` in `ceval.c` (#118614)

Set a DerivedData path for iOS test builds. (GH-118621)

Correct timing sensitivity in iOS testing Makefile target. (GH-118620)

Add Lysandros Nikolaou to the News entry of gh-111201 (#118616)

gh-111140: minor docs typos cleanup in the C example API calls. (#118612)

gh-118605: Fix reference leak in FrameLocalsProxy (#118607)

Also add some error checks.

Move pathlib implementation out of `__init__.py` (#118582)

Use the `__init__.py` file only for imports that define the API, following the example of asyncio.

gh-111201: A new Python REPL (GH-111567)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Marta Gómez Macías <mgmacias@google.com>
Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-117549: Don't use designated initializers in headers (#118580)

The designated initializer syntax in static inline functions in pycore_backoff.h
causes problems for C++ or MSVC users who aren't yet using C++20.
While internal, pycore_backoff.h is included (indirectly, via pycore_code.h)
by some key 3rd party software that does so for speed.

gh-117389: Fix `test_compileall.EncodingTest` (#117390)

Fix negative bandwidth test and add online code path test. (gh-118600)

gh-74929: Rudimentary docs for PEP 667 (#118581)

This is *not* sufficient for the final 3.13 release, but it will do for beta 1:

- What's new entry
- Updated changelog entry (news blurb)
- Mention the proxy for f_globals in the datamodel and Python frame object docs

This doesn't have any C API details (what's new refers to the PEP).

GH-111744: Make breakpoint() enter the debugger immediately (GH-118579)

gh-101137: Add `text/x-rst` to `mimetypes` (#118593)

gh-83505: Add markdown mimetype mapping (#17995)

gh-118518: Use the raw syscall directly for gettid (#118592)

gh-110850: Remove _PyTime_TimeUnchecked() function (#118552)

Use the new public Raw functions:

* _PyTime_PerfCounterUnchecked() with PyTime_PerfCounterRaw()
* _PyTime_TimeUnchecked() with PyTime_TimeRaw()
* _PyTime_MonotonicUnchecked() with PyTime_MonotonicRaw()

Remove internal functions:

* _PyTime_PerfCounterUnchecked()
* _PyTime_TimeUnchecked()
* _PyTime_MonotonicUnchecked()

gh-118476: Fix corner cases in islice() rough equivalent. (Gh-118559)

Minor edit: Simplify and tighten the distribution test (gh-118585)

Simplify and tighten the distribution test

gh-118131: Command-line interface for the `random` module (#118132)

gh-118455: Fix mangle_from_ default value in email.policy.Policy.__doc__ (#118456)

* Fix mangle_from_ default value in email.policy.Policy.__doc__

The docstring says it defaults to True, but it actually defaults
to False. Only the Compat32 subclass overrides that.

---------

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

gh-118164: Break a loop between _pydecimal and _pylong and optimize int to str conversion (GH-118483)

For converting large ints to strings, CPython invokes a function in _pylong.py,
which uses the decimal module to implement an asymptotically waaaaay
sub-quadratic algorithm. But if the C decimal module isn't available, CPython
uses _pydecimal.py instead. Which in turn frequently does str(int). If the int
is very large, _pylong ends up doing the work, which in turn asks decimal to do
"big" arithmetic, which in turn calls str(big_int), which in turn ... it can
become infinite mutual recursion.

This change introduces a different int->str function that doesn't use decimal.
It's asymptotically worse, "Karatsuba time" instead of quadratic time, so
still a huge improvement. _pylong switches to that when the C decimal isn't
available. It is also used for not too large integers (less than 450_000 bits),
where it is faster (up to 2 times for 30_000 bits) than the asymptotically
better implementation that uses the C decimal.

Co-authored-by: Tim Peters <tim.peters@gmail.com>

gh-74929: Remove undesirable DECREF in PEP 667 implementation (#118583)

With tests.

gh-118518: Allow perf to work without frame pointers (#112254)

gh-118164: str(10**10000) hangs if the C _decimal module is missing (#118503)

* Initial stab.

* Test the tentative fix. Hangs "forever" without this change.

* Move the new test to a better spot.

* New comment to explain why _convert_to_str allows any poewr of 10.

* Fixed a comment, and fleshed out an existing test that appeared unfinished.

* Added temporary asserts. Or maybe permanent ;-)

* Update Lib/_pydecimal.py

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
* Remove the new _convert_to_str().

Serhiy and I independently concluded that exact powers of 10
aren't possible in these contexts, so just checking the
string length is sufficient.

* At least for now, add the asserts to the other block too.

* 📜🤖 Added by blurb_it.

---------

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-109617: fix ncurses incompatibility on macOS with Xcode 15 (#111258)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-117953: Track Extra Details in Global Extensions Cache (gh-118532)

We have only been tracking each module's PyModuleDef.  However, there are some problems with that.  For example, in some cases we load single-phase init extension modules from def->m_base.m_init or def->m_base.m_copy, but if multiple modules share a def then we can end up with unexpected behavior.

With this change, we track the following:

* PyModuleDef (same as before)
* for some modules, its init function or a copy of its __dict__, but specific to that module
* whether it is a builtin/core module or a "dynamic" extension
* the interpreter (ID) that owns the cached __dict__ (only if cached)

This also makes it easier to remember the module's kind (e.g. single-phase init) and if loading it previously failed, which I'm doing separately.