gh-117655: Prevent `test_strptime` from raising a DeprecationWarning (GH-117668)

* Fix `test_strptime` raises a DeprecationWarning
* Ignore deprecation warnings where appropriate.
* Update Lib/test/datetimetester.py

This is follow on work to silence unnecessary warnings from the test suite that changes for https://github.com/python/cpython/issues/70647 added.

gh-118932: ChainMap.__contains__ performance improvement (gh-118946)

Docs: Fix SOURCE_URI (#118945)

gh-118921: Add `copy()` method for `FrameLocalsProxy` (#118923)

gh-117657: Log TSAN warnings to separate files and archive them (#118747)

This ensures we don't lose races that occur in subprocesses or
interleave races from workers running in parallel.

Log files are collected and packaged into a zipfile that can be
downloaded from the "Artifacts" section of the workflow run.

gh-118924: Remove `sqlite3.version` and `sqlite3.version_info` (#118925)

gh-118846: Fix free-threading test failures when run sequentially (#118864)

The free-threaded build currently immortalizes some objects once the
first thread is started. This can lead to test failures depending on the
order in which tests are run. This PR addresses those failures by
suppressing immortalization or skipping the affected tests.

gh-118702: Implement vectorcall for BaseException (#118703)

* BaseException_vectorcall() now creates a tuple from 'args' array.
* Creation an exception using BaseException_vectorcall() is now a
  single function call, rather than having to call
  BaseException_new() and then BaseException_init().
  Calling BaseException_init() is inefficient since it overrides
  the 'args' attribute.
* _PyErr_SetKeyError() now uses PyObject_CallOneArg() to create the
  KeyError instance to use BaseException_vectorcall().

Rename typing._collect_parameters (#118900)

Unfortunately, released versions of typing_extensions
monkeypatch this function without the extra parameter, which makes
it so things break badly if current main is used with typing_extensions.

Fortunately, the monkeypatching is not needed on Python 3.13, because CPython
now implements PEP 696. By renaming the function, we prevent the monkeypatch
from breaking typing.py internals.

We keep the old name (raising a DeprecationWarning) to help other external users who call it.

GH-118910: Less boilerplate in the tier 2 optimizer (#118913)

gh-118771: Ensure names defined in optimizer.h start with Py/_Py (GH-118825)

GH-78707: Drop deprecated `pathlib.PurePath.[is_]relative_to()` arguments (#118780)

Remove support for supplying additional positional arguments to
`PurePath.relative_to()` and `is_relative_to()`. This has been deprecated
since Python 3.12.

gh-118895: Call PyType_Ready() on typing.NoDefault (#118897)

Correct the argument names for `secrets.choice` and `secrets.randbelow` in `secrets.rst` (GH-118098)

Correct the argument names for `secrets.choice` and `secrets.randbelow` in `secrets.rst`.

gh-117657: Fix QSBR race condition (#118843)

`_Py_qsbr_unregister` is called when the PyThreadState is already
detached, so the access to `tstate->qsbr` isn't safe without locking the
shared mutex. Grab the `struct _qsbr_shared` from the interpreter
instead.

gh-117657: Fix data races reported by TSAN on `interp->threads.main` (#118865)

Use relaxed loads/stores when reading/writing to this field.

gh-118789: Restore hidden `_PyWeakref_ClearRef` (#118797)

_PyWeakref_ClearRef was previously exposed in the public C-API, although
it begins with an underscore and is not documented. It's used by a few
C-API extensions. There is currently no alternative public API that can
replace its use.

_PyWeakref_ClearWeakRefsExceptCallbacks is the only thread-safe way to
use _PyWeakref_ClearRef in the free-threaded build. This exposes the C
symbol, but does not make the API public.

gh-117398: Move types to datetime state (#118606)

Move types to the datetime_state structure of the _datetime
extension.

Rename `notimplemented_methods` into `nodefault_methods` (#118896)

gh-118689: Doc: fix ePub build (#118690)

gh-117873: Use positional-only parameters in _posixshmem (#118012)

* shm_unlink() parameter becomes positional-only.
* shm_open() first parameter (path) becomes positional-only,
  the two following parameters remain positional-or-keyword.

gh-118209: Add Windows structured exception handling to mmap module (GH-118213)

Fix some missing null checks. (GH-118721)

Docs: fix typos in documentation (GH-118815)

Revert "gh-115432: Add critical section variant that handles a NULL object (#115433)" (#118861)

This reverts commit ad4f909e0e7890e027c4ae7fea74586667242ad3.

The API ended up not being used.

gh-118851: Default ctx arguments to AST constructors to Load() (#118854)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-117657: Replace TSAN suppresions with more specific rules (#118722)

Using `race:` filters out warnings if the function appears anywhere in
the stack trace. This can hide a lot of unrelated warnings, especially
for a function like `_PyEval_EvalFrameDefault`, which is somewhere on
the stack more often than not.

Change all free-threaded suppressions to `race_top:`, which only matches
the top frame, and add any new suppressions this exposes.

gh-118846: Fix PGO tests in free-threaded build (#118862)

Avoid immortalizing objects in tests that verify garbage collection of
classes or modules.

This fixes test_ordered_dict and test_struct.

gh-116984: Make mimalloc header includes relative to the current file (#118808)

Some embedders and extensions include parts of the internal API. The
pycore_mimalloc.h file is transitively include by a number of other
internal headers. This avoids include errors for code that was
already including those headers.

gh-118561: Fix crash involving list.extend in free-threaded build (#118723)

The `list_preallocate_exact` function did not zero initialize array
contents. In the free-threaded build, this could expose uninitialized
memory to concurrent readers between the call to
`list_preallocate_exact` and the filling of the array contents with
items.

gh-118849: Fix "code will never be executed" warning in `dictobject.c` (#118850)

gh-118773: Use language-invariant SDDL string instead of aliases for ACLs. (GH-118800)

gh-117657: Acquire a critical section around `SemLock.__{enter,exit}__` (#118812)

These methods are purely wrappers around `Semlock.{acquire,release}`,
which expect a critical section to be held.

gh-118817: Fix `asyncio REPL` on Windows (#118819)

gh-118767: Improve tests and docs for bool(NotImplemented) (#118813)

gh-118802: Fix ACL use in test for non-English Windows (GH-118831)

gh-103956: Fix `trace` output in case of missing source line (GH-103958)

Print only filename with lineno if linecache.getline() returns an empty string.

gh-118805: Remove type, choices, metavar params of `BooleanOptionalAction` (#118806)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-118798: Remove deprecated isdst parameter from `email.utils.localtime` (#118799)

gh-118033: Fix `__weakref__` not set for generic dataclasses (#118099)

GH-101588: Remove deprecated pickle/copy/deepcopy from itertools (gh-118816)

[tests]: Mark ``test_statistics.test_kde_random`` with a ``requires_resource('cpu')`` decorator (#118801)

Mark test_kde_random with a requires_resource('cpu') decorator

gh-118803: Remove `ByteString` from `typing` and `collections.abc` (#118804)

gh-117657: Fix data races when writing / reading `ob_gc_bits` (#118292)

Use relaxed atomics when reading / writing to the field. There are still a
few places in the GC where we do not use atomics. Those should be safe as
the world is stopped.

Fixing a typo in test_cmd_line.py (#118728)

Format None, True, False and NotImplemented as literals (GH-118758)

docs: module page titles should not start with a link to themselves (#117099)

Docs: fix typos in documentation (#118752)

Run CI on the 3.13 branch (#118779)

gh-118767: Make bool(NotImplemented) raise TypeError (#118775)

gh-118772: Allow TypeVars without a default to follow those with a default when constructing aliases (#118774)

Fix file extensions for 3.14 Whats New (#118770)

Update Windows library names for the Python version bump (#118766)

gh-118486: Update docs for CVE-2024-4030 reference (GH-118737)

Regenerate configure for 3.14, which the release script forgot. (#118765)

Python 3.14.0a0

Python 3.13.0b1

gh-118671: Updated dead ActiveState links (#118730)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

Regen ``Doc/requirements-oldest-sphinx.txt`` (#118736)

Regen dependencies

gh-118746: Fix crash in frame_getlocals and _PyFrame_GetLocals (#118748)

We don't know how to create an unoptimized frame with f_locals == NULL,
but they are seen in the wild, and this fixes the crash.

gh-118610: Centralize power caching in `_pylong.py` (#118611)

A new `compute_powers()` function computes all and only the powers of the base the various base-conversion functions need, as efficiently as reasonably possible (turns out that invoking `**`is needed at most once). This typically gives a few % speedup, but the primary point is to simplify the base-conversion functions, which no longer need their own, ad hoc, and less efficient power-caching schemes.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Revert to free macOS runners (#118744)

gh-118734: Fixes Windows build when Use_TIER2 is unspecified (#118735)

gh-109975: Make a rough editorial pass over What's New (#118711)

Make a rough editorial pass over Python 3.13's What's New document. Add the
release highlights, remove or merge some duplicated entries, and reorder
some of the sections (removals should really go before future deprecations).

gh-118518: Check for perf version and not kernel version in test_perf_profiler (#118640)

gh-118729: Temporarily skip `test_multiprocessing_pool_circular_import` (#118732)

The `pool_in_threads.py` test file may crash in free-threaded builds,
which can lead to the Tsan test hanging. Skip it for now until we fix
the underlying issue.

gh-118650: Document `Enum._repr_*` reservation exclusion (GH-118698)

gh-118518: Improve perf docs (#118708)

gh-111201: Allow pasted code to contain multiple statements in the REPL (#118712)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-115773: Use the right variable name based on the field we are trying read (#118591)

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>

gh-118682: Revert forcing str commands, allow class commands in pyrepl (#118709)

gh-118660: Add second type parameter to (Async)ContextManager (#118681)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Remove Python 3.5 hardcoded version in the tutorial appendix (GH-117612)

gh-111201: Allow bracketed paste to work (GH-118700)

Remove several unused imports in `_pyrepl` (#118668)

gh-66410: Do not stringify arguments of Tkinter callback (GH-98592)

Callbacks registered in the tkinter module now take arguments as
various Python objects (int, float, bytes, tuple), not just str.
To restore the previous behavior set tkinter module global wantobject to 1
before creating the Tk object or call the wantobject() method of the Tk object
with argument 1.
Calling it with argument 2 restores the current default behavior.

gh-118090: Improve error message for empty type param brackets (GH-118091)

gh-118518: Rename `PYTHONPERFJITSUPPORT` and `-X perfjit` with underscores (#118693)

gh-118310: Fix documentation for `enum.Enum.__new__` (GH-118311)

The provided example was incorrect:
- The example enum was missing the `int` mixin as implied by the context
- The value of `int('1a', 16)` was incorrectly given as 17
  (should be 26)

gh-109653: What's new: Note improved import times for several stdlib modules in Python 3.13 (#118697)

gh-118418: Deprecate failing to pass a value to the *type_params* parameter of some private `typing` APIs (#118695)

gh-118119: Re-use `sep` in `posixpath.expanduser()` (GH-118120)

gh-118650: Exclude `_repr_*` methods from Enum's _sunder_ reservation (GH-118651)

gh-109975: Update 'What's New in Python 3.13' for beta (#118694)

Fix several typos in documentation (GH-118625)

gh-118314: Fix padding edge case in binascii.a2b_base64 strict mode (GH-118320)

Fix an edge case in `binascii.a2b_base64` strict mode, where
excessive padding was not detected when no padding is necessary.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>

gh-117657: Use clang 18 in TSAN builds (GH-118533)

Use clang 18 in TSAN builds

We were using clang 14 which is a couple of years old.

Fix typo inaccuracy in _bootstrap_external.py (GH-118619)

gh-62090: Simplify argparse usage formatting (GH-105039)

Rationale
=========

argparse performs a complex formatting of the usage for argument grouping
and for line wrapping to fit the terminal width. This formatting has been
a constant source of bugs for at least 10 years (see linked issues below)
where defensive assertion errors are triggered or brackets and paranthesis
are not properly handeled.

Problem
=======

The current implementation of argparse usage formatting relies on regular
expressions to group arguments usage only to separate them again later
with another set of regular expressions. This is a complex and error prone
approach that caused all the issues linked below. Special casing certain
argument formats has not solved the problem. The following are some of
the most common issues:
- empty `metavar`
- mutually exclusive groups with `SUPPRESS`ed arguments
- metavars with whitespace
- metavars with brackets or paranthesis

Solution
========

The following two comments summarize the solution:
- https://github.com/python/cpython/issues/82091#issuecomment-1093832187
- https://github.com/python/cpython/issues/77048#issuecomment-1093776995

Mainly, the solution is to rewrite the usage formatting to avoid the
group-then-separate approach. Instead, the usage parts are kept separate
and only joined together at the end. This allows for a much simpler
implementation that is easier to understand and maintain. It avoids the
regular expressions approach and fixes the corresponding issues.

This closes the following GitHub issues:
-  #62090
-  #62549
-  #77048
-  #82091
-  #89743
-  #96310
-  #98666

These PRs become obsolete:
-  #15372
-  #96311

gh-118107: Fix zipimporter ZIP64 handling. (GH-118108)

Add missing import to code that handles too large files and offsets.
Use list, not tuple, for a mutable sequence.

Add tests to prevent similar mistakes.

---------

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>
Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

Update macOS installer screens and README for 3.13.0b1 (GH-118685)

gh-118414: Fix assertion in YIELD_VALUE when tracing lines or instrs (#118683)

gh-117953: Always Run Extension Init Func in Main Interpreter First (gh-118157)

This change makes sure all extension/builtin modules have their init function run first by the main interpreter before proceeding with import in the original interpreter (main or otherwise).  This means when the import of a single-phase init module fails in an isolated subinterpreter, it won't tie any global state/callbacks to the subinterpreter.

gh-117953: Imply Single-phase Init if the Init Function Fails (gh-118684)

This ensures the kind is always either _Py_ext_module_kind_SINGLEPHASE or _Py_ext_module_kind_MULTIPHASE.

gh-116322: Enable the GIL while loading C extension modules (#118560)

Add the ability to enable/disable the GIL at runtime, and use that in
the C module loading code.

We can't know before running a module init function if it supports
free-threading, so the GIL is temporarily enabled before doing so. If
the module declares support for running without the GIL, the GIL is
later disabled. Otherwise, the GIL is permanently enabled, and will
never be disabled again for the life of the current interpreter.

Docs: add whatsnew for free-threading (#118679)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-110209: Add __class_getitem__ for generator and coroutine (#110212)

GH-116380: Revert move of pathlib globbing code to `pathlib._glob` (#118678)

The previous change made the `glob` module slower to import, because it
imported `pathlib._glob` and hence the rest of `pathlib`.

Reverts a40f557d7b7a355a55bb90c068e3e9202fd9c8f2.

gh-112075: use per-thread dict version pool (#118676)

use thread state set of dict versions

gh-118527: Intern code consts in free-threaded build (#118667)

We already intern and immortalize most string constants. In the
free-threaded build, other constants can be a source of reference count
contention because they are shared by all threads running the same code
objects.