gh-118335: Rename --experimental-interpreter on Windows to --experimental-jit-interpreter (#118497)

Also fix docs for this in whatsnew.

gh-117953: Work Relative to Specific Extension Kinds in the Import Machinery (gh-118205)

This change will make some later changes simpler.

gh-118335: Make REGEN_JIT_COMMAND empty if tier2 interpreter enabled (#118493)

Also patch up news blurb for gh-118339
(add warning that PYTHON_UOPS is now PYTHON_JIT).

GH-118174: specify the type for the path argument of shutil.which

gh-118413: Temporarily skip `test_release_task_refs` in free-threaded builds (#118491)

gh-117607: Speedup os.path.relpath() (GH-117608)

GH-113464: Display a warning when building the JIT (GH-118481)

GH-118095: Make sure that progress is made if there are pending calls being handled. (GH-118484)

gh-118433: Temporarily skip `test_interrupt_main_subthread` in free-threaded builds (#118485)

Free-threaded builds can intermittently tickle a longstanding bug (24 years!)
in the implementation of `threading.Condition`, leading to flakiness in the
test suite. Fixing the underlying issue will require more discussion, and will
likely apply to most of the concurrency primitives in the `threading` module
that are written in Python. See gh-118433 for more details.

gh-118272: set stacktop to 0 before freeing contents, to avoid access to invalid objects during GC (#118478)

build(deps-dev): bump types-psutil from 5.9.5.20240316 to 5.9.5.20240423 in /Tools (#118464)

Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

gh-117225: Move colorize functionality to own internal module (#118283)

gh-117225: Document colour use in `doctest` (#118268)

gh-110850: Add PyTime_TimeRaw() function (#118394)

Add "Raw" variant of PyTime functions:

* PyTime_MonotonicRaw()
* PyTime_PerfCounterRaw()
* PyTime_TimeRaw()

Changes:

* Add documentation and tests. Tests release the GIL while calling
  raw clock functions.
* py_get_system_clock() and py_get_monotonic_clock() now check that
  the GIL is hold by the caller if raise_exc is non-zero.
* Reimplement "Unchecked" functions with raw clock functions.

Co-authored-by: Petr Viktorin <encukou@gmail.com>

Expand the 'Extending' docs with an example. (#113187)

* Expand the 'Extending' docs to provide a minimal example. Closes python/importlib_metadata#427.

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-116622: Android sysconfig updates (#118352)

Bump types-setuptools from 69.2.0.20240317 to 69.5.0.20240423 in /Tools (#118463)

Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Bump mypy from 1.9.0 to 1.10.0 in /Tools (#118461)

Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

gh-99730: urllib.request: Keep HEAD method on redirect (GH-99731)

GH-115802: Use the GHC calling convention in JIT code (GH-118287)

gh-117958: Expose JIT code via method in UOpExecutor (#117959)

gh-99180: Remove traceback anchors in return and assign statements that cover all the displayed range (#112670)

gh-116767: fix crash on 'async with' with many context managers (GH-118348)

Account for `add_stopiteration_handler` pushing a block for `async with`.
To allow generator functions that previously almost hit the `CO_MAXBLOCKS`
limit by nesting non-async blocks, the limit is increased by 1.
This increase allows one more block in non-generator functions.

GH-118095: Make invalidating and clearing executors memory safe (GH-118459)

Test syntax error on comma-less tuple-style sequence patterns (#115485)

Adds a test that length-1 tuple-style sequence patterns must end in a comma, since there isn't currently one.

Spotted while reviewing Cython's proposed implementation of the pattern matching syntax (https://github.com/cython/cython/pull/4897#discussion_r1489177169) where there was a bug my the reimplementation that wasn't caught against the CPython tests here.

GH-117881: fix athrow().throw()/asend().throw() concurrent access (GH-117882)

gh-116622: Add Android testbed (GH-117878)

Add code and config for a minimal Android app, and instructions to build and run it.
Improve Android build instructions in general.
Add a tool subcommand to download the Gradle wrapper (with its binary blob). Android
studio must be downloaded manually (due to the license).

gh-118201: Accomodate flaky behavior of `os.sysconf` on iOS (GH-118453)

gh-118335: Configure Tier 2 interpreter at build time (#118339)

The code for Tier 2 is now only compiled when configured
with `--enable-experimental-jit[=yes|interpreter]`.

We drop support for `PYTHON_UOPS` and -`Xuops`,
but you can disable the interpreter or JIT
at runtime by setting `PYTHON_JIT=0`.
You can also build it without enabling it by default
using `--enable-experimental-jit=yes-off`;
enable with `PYTHON_JIT=1`.

On Windows, the `build.bat` script supports
`--experimental-jit`, `--experimental-jit-off`,
`--experimental-interpreter`.

In the C code, `_Py_JIT` is defined as before
when the JIT is enabled; the new variable
`_Py_TIER2` is defined when the JIT *or* the
interpreter is enabled. It is actually a bitmask:
1: JIT; 2: default-off; 4: interpreter.

gh-118201 - Disable the flaky POSIX test_confstr test on iOS (GH-118452)

gh-117657: Don't specialize RESUME_CHECK when specialization is disabled (GH-118349)

gh-117139: Add header for tagged pointers (GH-118330)

---------

Co-authored-by: Sam Gross <655866+colesbury@users.noreply.github.com>

gh-118422: Fix run_fileexflags() test (#118429)

Don't test the undefined behavior of fileno()
on a closed file, but use fstat() as a reliable
test if the file was closed or not.

gh-118124: Use static_assert() in Py_BUILD_ASSERT() on C11 (#118398)

Use static_assert() in Py_BUILD_ASSERT() and Py_BUILD_ASSERT_EXPR()
on C11 and newer and C++11 and newer.

Add tests to test_cext and test_cppext.

gh-118218: Reuse return tuple in itertools.pairwise (GH-118219)

gh-118406: Add signature for sqlite3.Connection objects (#118428)

[gh-117657] Fix some issues with TSAN in typeobject (#118249)

Fix some racing reads in typebobject.c

gh-118332: Fix deadlock involving stop the world (#118412)

Avoid detaching thread state when stopping the world. When re-attaching
the thread state, the thread would attempt to resume the top-most
critical section, which might now be held by a thread paused for our
stop-the-world request.

gh-117657: Fix small issues with instrumentation and TSAN (#118064)

Small TSAN fixups for instrumentation

gh-118272: Clear generator frame's locals when the generator is closed (#118277)

Co-authored-by: Thomas Grainger <tagrain@gmail.com>

gh-109975: Document crypt_r as a possible replacement of crypt (#118439)

gh-117618: Make package.module searchable for breakpoints and clean up docs (#117619)

gh-118418: Use a default value for `type_params` in `typing._eval_type` (#118431)

gh-116122: Add SBOM generation to PCbuild/build.bat (GH-116138)

gh-118379: Use PyTuple_Pack instead of Py_BuildValue if possible (GH-118381)

gh-118402: Fix inspect.signature() for functools.cmp_to_key() result (GH-118427)

gh-102402: Make test_relativeCreated_has_higher_precision less implementation dependent (GH-118062)

gh-117860: Add tests for resolving names when import rebind names (GH-118176)

Add tests for "import", pkgutil.resolve_name() and unittest.mock.path()
for cases when "import a.b as x" and "from a import b as x" give
different results.

gh-116622: Redirect stdout and stderr to system log when embedded in an Android app (#118063)

gh-118404: Fix inspect.signature() for non-comparable callables (GH-118405)

GH-118095: Add tier 2 support for YIELD_VALUE (GH-118380)

gh-85453: Consistent backquotes on None occurences across datetime.rst (#118282)

gh-118392: Add note about random.random for multi thread app (gh-118396)

GH-118306: Update JIT to use LLVM 18 (GH-118307)

gh-118359: Improve docs for Bdb.user_call (#118368)

The `argument_list` parameter of bdb.Bdb.user_call has been useless for 25 years. It is retained for backwards compatibility, but it will always be None.

gh-118347: Fix Windows installer not updating launcher (GH-118386)

gh-117657: TSAN fix race on `gstate->young.count` (#118313)

gh-118331: Handle errors in _PyObject_SetManagedDict (#118334)

When detaching a dict, the `copy_values` call may fail due to
out-of-memory errors. This can be triggered by test_no_memory in
test_repl.

gh-118401: Docs: Use Sphinx short options (#118403)

gh-117953: Share More Machinery Code Between Builtin and Dynamic Extensions (gh-118204)

This change will make some later changes simpler. It also brings more consistent behavior and lower maintenance costs.

gh-117783: Immortalize objects that use deferred reference counting (#118112)

Deferred reference counting is not fully implemented yet. As a temporary
measure, we immortalize objects that would use deferred reference
counting to avoid multi-threaded scaling bottlenecks.

This is only performed in the free-threaded build once the first
non-main thread is started. Additionally, some tests, including refleak
tests, suppress this behavior.

Docs: Upgrade to Sphinx 7.3 (#118397)

gh-118331: Don't raise an error if tuple allocation fails when clearing weakrefs (#118338)

It's not safe to raise an exception in `PyObject_ClearWeakRefs()` if one
is not already set, since it may be called by `_Py_Dealloc()`, which
requires that the active exception does not change.

Additionally, make sure we clear the weakrefs even when tuple allocation
fails.

gh-118285: Fix signatures of operator.{attrgetter,itemgetter,methodcaller} instances (GH-118316)

* Allow to specify the signature of custom callable instances of extension
  type by the __text_signature__ attribute.
* Specify signatures of operator.attrgetter, operator.itemgetter, and
  operator.methodcaller instances.

gh-118351: Adapt support.TEST_MODULES_ENABLED for builds without the config variable (GH-118354)

gh-117953: Split Up _PyImport_LoadDynamicModuleWithSpec() (gh-118203)

Basically, I've turned most of _PyImport_LoadDynamicModuleWithSpec() into two new functions (_PyImport_GetModInitFunc() and _PyImport_RunModInitFunc()) and moved the rest of it out into _imp_create_dynamic_impl().  There shouldn't be any changes in behavior.

This change makes some future changes simpler.  This is particularly relevant to potentially calling each module init function in the main interpreter first.  Thus the critical part of the PR is the addition of _PyImport_RunModInitFunc(), which is strictly focused on running the init func and validating the result.  A later PR will take it a step farther by capturing error information rather than raising exceptions.

FWIW, this change also helps readers by clarifying a bit more about what happens when an extension/builtin module is imported.

Uncomment one grammar test (#118361)

gh-114099: Fix typos in iOS/README.rst (GH-118378)

Fix typo in Doc/c-api/exceptions.rst (GH-118371)

Fix typo in Doc/howto/timerfd.rst (GH-118376)

Fix typo in Doc/c-api/typeobj.rst (GH-118377)

gh-107674: Lazy load line number to improve performance of tracing (GH-118127)

gh-115119: Detect _decimal dependencies using pkg-config (#115406)

pkg-config is supported for libmpdec 4.0.0 and newer.

GH-118095: Allow a variant of RESUME_CHECK in tier 2 (GH-118286)

gh-118374: test_ast: Add ``ctx`` argument to ``ast.Name`` calls (#118375)

gh-118293: Suppress mouse cursor feedback when launching Windows processes with multiprocessing (GH-118315)

gh-101100: Fix Sphinx warnings in `whatsnew/3.10.rst` (#118356)

gh-101100: Fix Sphinx warnings in `library/faulthandler.rst` (#118353)

gh-101100: Fix Sphinx warnings in `whatsnew/3.9.rst` (#118364)

Fix typo in Tools/wasm/README.md(#118358)

gh-109118: Make comprehensions work within annotation scopes, but without inlining (#118160)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-118323: Document `&&` grammar syntax (#118324)

Correct typo in iOS README (#118341)

Correct spelling error in recent NEWS entry (#118308)

gh-110693: Use a Larger Queue for Per-Interpreter Pending Calls (gh-118302)

This is an improvement over the status quo, reducing the likelihood of completely filling the pending calls queue.  However, the problem won't go away completely unless we move to an unbounded linked list or add a mechanism for waiting until the queue isn't full.

bpo-32839: Add the after_info() method for Tkinter widgets (GH-5664)

gh-112730: Respect tests that require environment variables with no-colorize fixes (#118288)

gh-116749: Disable GIL by default in free-threaded build (#118295)

Switch GIL to disabled by default in free-threaded build so that the
free-threaded CIs catch thread-safety issues.

GH-118095: Add dynamic exit support and FOR_ITER_GEN support to tier 2 (GH-118279)

gh-117680: Fix msvc warning in instruction_sequence.c (#118326)

gh-117385: Remove unhooked events on sys.settrace (GH-117386)

gh-117657: Fix race data race in `_Py_IsOwnedByCurrentThread()` (#118258)

Fix note in Enum.__new__ docs (#118284)

gh-117928: Bump the minimum Sphinx version to 6.2.1 (#117853)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-118235: Skip RAISE_SYNTAX_ERROR rules in the grammar spec (GH-118237)

gh-110693: Pending Calls Machinery Cleanups (gh-118296)

This does some cleanup in preparation for later changes.

gh-112075: _Py_dict_lookup needs to lock shared keys (#117528)

Lock shared keys in `Py_dict_lookup` and use thread-safe lookup in `insertdict`

Co-authored-by: Sam Gross <colesbury@gmail.com>

Remove tests_gui variables from Tkinter tests (GH-118280)

They were only used in runtktests.py which was removed in
f59ed3c310a7ceebf2a56a84ea969a7f75d95b64 (bpo-45229).

gh-117657: Fixes a few small TSAN issues in dictobject (#118200)

Fixup TSAN errors for dict

gh-117657: Add a couple more TSAN suppressions (#118256)