gh-117953: Share More Machinery Code Between Builtin and Dynamic Extensions (gh-118204)

This change will make some later changes simpler. It also brings more consistent behavior and lower maintenance costs.

gh-117783: Immortalize objects that use deferred reference counting (#118112)

Deferred reference counting is not fully implemented yet. As a temporary
measure, we immortalize objects that would use deferred reference
counting to avoid multi-threaded scaling bottlenecks.

This is only performed in the free-threaded build once the first
non-main thread is started. Additionally, some tests, including refleak
tests, suppress this behavior.

Docs: Upgrade to Sphinx 7.3 (#118397)

gh-118331: Don't raise an error if tuple allocation fails when clearing weakrefs (#118338)

It's not safe to raise an exception in `PyObject_ClearWeakRefs()` if one
is not already set, since it may be called by `_Py_Dealloc()`, which
requires that the active exception does not change.

Additionally, make sure we clear the weakrefs even when tuple allocation
fails.

gh-118285: Fix signatures of operator.{attrgetter,itemgetter,methodcaller} instances (GH-118316)

* Allow to specify the signature of custom callable instances of extension
  type by the __text_signature__ attribute.
* Specify signatures of operator.attrgetter, operator.itemgetter, and
  operator.methodcaller instances.

gh-118351: Adapt support.TEST_MODULES_ENABLED for builds without the config variable (GH-118354)

gh-117953: Split Up _PyImport_LoadDynamicModuleWithSpec() (gh-118203)

Basically, I've turned most of _PyImport_LoadDynamicModuleWithSpec() into two new functions (_PyImport_GetModInitFunc() and _PyImport_RunModInitFunc()) and moved the rest of it out into _imp_create_dynamic_impl().  There shouldn't be any changes in behavior.

This change makes some future changes simpler.  This is particularly relevant to potentially calling each module init function in the main interpreter first.  Thus the critical part of the PR is the addition of _PyImport_RunModInitFunc(), which is strictly focused on running the init func and validating the result.  A later PR will take it a step farther by capturing error information rather than raising exceptions.

FWIW, this change also helps readers by clarifying a bit more about what happens when an extension/builtin module is imported.

Uncomment one grammar test (#118361)

gh-114099: Fix typos in iOS/README.rst (GH-118378)

Fix typo in Doc/c-api/exceptions.rst (GH-118371)

Fix typo in Doc/howto/timerfd.rst (GH-118376)

Fix typo in Doc/c-api/typeobj.rst (GH-118377)

gh-107674: Lazy load line number to improve performance of tracing (GH-118127)

gh-115119: Detect _decimal dependencies using pkg-config (#115406)

pkg-config is supported for libmpdec 4.0.0 and newer.

GH-118095: Allow a variant of RESUME_CHECK in tier 2 (GH-118286)

gh-118374: test_ast: Add ``ctx`` argument to ``ast.Name`` calls (#118375)

gh-118293: Suppress mouse cursor feedback when launching Windows processes with multiprocessing (GH-118315)

gh-101100: Fix Sphinx warnings in `whatsnew/3.10.rst` (#118356)

gh-101100: Fix Sphinx warnings in `library/faulthandler.rst` (#118353)

gh-101100: Fix Sphinx warnings in `whatsnew/3.9.rst` (#118364)

Fix typo in Tools/wasm/README.md(#118358)

gh-109118: Make comprehensions work within annotation scopes, but without inlining (#118160)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-118323: Document `&&` grammar syntax (#118324)

Correct typo in iOS README (#118341)

Correct spelling error in recent NEWS entry (#118308)

gh-110693: Use a Larger Queue for Per-Interpreter Pending Calls (gh-118302)

This is an improvement over the status quo, reducing the likelihood of completely filling the pending calls queue.  However, the problem won't go away completely unless we move to an unbounded linked list or add a mechanism for waiting until the queue isn't full.

bpo-32839: Add the after_info() method for Tkinter widgets (GH-5664)

gh-112730: Respect tests that require environment variables with no-colorize fixes (#118288)

gh-116749: Disable GIL by default in free-threaded build (#118295)

Switch GIL to disabled by default in free-threaded build so that the
free-threaded CIs catch thread-safety issues.

GH-118095: Add dynamic exit support and FOR_ITER_GEN support to tier 2 (GH-118279)

gh-117680: Fix msvc warning in instruction_sequence.c (#118326)

gh-117385: Remove unhooked events on sys.settrace (GH-117386)

gh-117657: Fix race data race in `_Py_IsOwnedByCurrentThread()` (#118258)

Fix note in Enum.__new__ docs (#118284)

gh-117928: Bump the minimum Sphinx version to 6.2.1 (#117853)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-118235: Skip RAISE_SYNTAX_ERROR rules in the grammar spec (GH-118237)

gh-110693: Pending Calls Machinery Cleanups (gh-118296)

This does some cleanup in preparation for later changes.

gh-112075: _Py_dict_lookup needs to lock shared keys (#117528)

Lock shared keys in `Py_dict_lookup` and use thread-safe lookup in `insertdict`

Co-authored-by: Sam Gross <colesbury@gmail.com>

Remove tests_gui variables from Tkinter tests (GH-118280)

They were only used in runtktests.py which was removed in
f59ed3c310a7ceebf2a56a84ea969a7f75d95b64 (bpo-45229).

gh-117657: Fixes a few small TSAN issues in dictobject (#118200)

Fixup TSAN errors for dict

gh-117657: Add a couple more TSAN suppressions (#118256)

gh-117657: Fix data race in `_Py_IsImmortal` (#118261)

The load of `ob_ref_local races with stores. Using a relaxed load is
sufficient; stores to the field are relaxed.

gh-117566: fix IPv6Address.is_loopback for IPv4-mapped loopbacks (GH-117567)

While properties like IPv6Address.is_private account for IPv4-mapped
IPv6 addresses, such as for example:

    >>> ipaddress.ip_address("192.168.0.1").is_private
    True
    >>> ipaddress.ip_address("::ffff:192.168.0.1").is_private
    True
...the same doesn't currently apply to the is_loopback property:
    >>> ipaddress.ip_address("127.0.0.1").is_loopback
    True
    >>> ipaddress.ip_address("::ffff:127.0.0.1").is_loopback
    False

At minimum, this inconsistency between different properties is
counter-intuitive. Moreover, ::ffff:127.0.0.0/104 is for all intents and
purposes a loopback address, and should be treated as such.

gh-112069: Do not require lock if the set has never been exposed. (gh-118069)

Fix incorrect usage of ``support.requires_gil_enabled`` (#118170)

gh-117578: Introduce _PyType_GetModuleByDef2 private function (GH-117661)

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

GH-118095: Handle `RETURN_GENERATOR` in tier 2 (GH-118180)

gh-102511: Speed up os.path.splitroot() with native helpers (GH-118089)

gh-118221: Always use the default row factory in sqlite3.iterdump() (#118223)

sqlite3.iterdump() depends on the row factory returning resulting rows
as tuples; it will fail with custom row factories like for example a
dict factory.

With this commit, we explicitly reset the row factory of the cursor used
by iterdump(), so we always get predictable results. This does not
affect the row factory of the parent connection.

Co-authored-by: Mariusz Felisiak <felisiak.mariusz@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-118207: Rename the COMMON_FIELDS macro in funcobject.h and undef it after use (GH-118208)

gh-117968: Make the test for closed file more safe in the C API tests (GH-118230)

The behavior of fileno() after fclose() is undefined, but it is the only
practical way to check whether the file was closed.
Only test this on the known platforms (Linux, Windows, macOS), where we
already tested that it works.

gh-117786: Fix venv created from Windows Store install by restoring __PYVENV_LAUNCHER__ smuggling (GH-117814)

GH-118246: Exclude test_pathlib and test_posixpath from emulated JIT CI (GH-118247)

gh-108191: Add support of positional argument in SimpleNamespace constructor (GH-108195)

SimpleNamespace({'a': 1, 'b': 2}) and SimpleNamespace([('a', 1), ('b', 2)])
are now the same as SimpleNamespace(a=1, b=2).

gh-117953: Fix Refleaks Introduced by gh-118194 (gh-118250)

A couple of refleaks slipped through in gh-118194. This takes care of them.

(AKA _Py_ext_module_loader_info_init() does not steal references.)

gh-112730: Make the test suite resilient to color-activation environment variables (#117672)

gh-85453: Make numeric literals consistent across datetime.rst (#118245)

Remove code formatting from remaining numeric literals.

gh-85453: Adapt datetime.rst to devguide recommendations for code snippets and variables (#118068)

Also remove formatting from numeric literals.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-117953: Add Internal struct _Py_ext_module_loader_info (gh-118194)

This helps with a later change that splits up _PyImport_LoadDynamicModuleWithSpec().

gh-116988: Remove duplicates of `annotated_rhs` in the Grammar (#117004)

gh-117953: Let update_global_state_for_extension() Caller Decide If Singlephase or Not (gh-118193)

This change makes other upcoming changes simpler.

gh-76785: Rename _xxsubinterpreters to _interpreters (gh-117791)

See https://discuss.python.org/t/pep-734-multiple-interpreters-in-the-stdlib/41147/26.

gh-117953: Cleanups For fix_up_extension() in import.c (gh-118192)

These are cleanups I've pulled out of gh-118116.  Mostly, this change moves code around to align with some future changes and to improve clarity a little.  There is one very small change in behavior: we now add the module to the per-interpreter caches after updating the global state, rather than before.

gh-118013: Use weakrefs for the cache key in `inspect._shadowed_dict` (#118202)

GH-115419: Move setting the instruction pointer to error exit stubs (GH-118088)

GH-118095: Convert DEOPT_IFs on likely side exits to EXIT_IFs (GH-118106)

Covert DEOPT_IFs on likely side exits to EXIT_IFs

GH-117536: GH-117894: fix athrow().throw(...) unawaited warning (GH-117851)

gh-117225: Add color to doctest output (#117583)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

no-issue: devcontainer: update to Fedora 40 (gh-118161)

gh-117901: Add option for compiler's codegen to save nested instruction sequences for introspection (#118007)

gh-116023: Add `show_empty=False` to `ast.dump` (#116037)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-118074: Immortal executors are not GC-able (#118182)

Better version of gh-118117.
Just check for immortality instead of an address range check.

gh-118189: Revert accidentally added incl.tar (#118190)

gh-117657: Quiet TSAN warnings about remaining non-atomic accesses of `tstate->state` (#118165)

Quiet TSAN warnings about remaining non-atomic accesses of `tstate->state`

Fix typo in py_compile.rst (GH-118102)

gh-117151: optimize BufferedWriter(), do not buffer writes that are the buffer size (GH-118037)

BufferedWriter() was buffering calls that are the exact same size as the buffer. it's a very common case to read/write in blocks of the exact buffer size.

it's pointless to copy a full buffer, it's costing extra memory copy and the full buffer will have to be written in the next call anyway.

Co-authored-by: rmorotti <romain.morotti@man.com>

gh-117953: Small Cleanup of Extensions-Related Machinery Code (gh-118167)

This is a collection of very basic cleanups I've pulled out of gh-118116.  It is mostly renaming variables and moving a couple bits of code in functionally equivalent ways.

gh-118168: Fix Unpack interaction with builtin aliases (#118169)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-118140: Make the``test_concurrent_futures.test_init`` quiet. (GH-118141)

Add stream argument to unittest.TextTestRunner call

gh-118082: Improve `import` without names syntax error message (#118083)

gh-68114: Fix handling for removed PyArg_ParseTuple 'w' formatters (GH-8204)

Co-authored-by: Joe Jevnik <joe@quantopian.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-116984: Install mimalloc headers (#116985)

- Install mimalloc header only when enabled
- Rename WITH_MIMALLOC to INSTALL_MIMALLOC

gh-118039: Fix config.cache key on WASI (#118137)

gh-95754: Better error when script shadows a standard library or third party module (#113769)

gh-116741: Upgrade libexpat to 2.6.2 (#117296)

Upgrade libexpat to 2.6.2

GH-118074: Executors in the COLD_EXITS array are not GC'able (#118117)

Set proper permissions for `jit.yml` workflow (#118084)

gh-109118: Allow lambdas in annotation scopes in classes (#118019)

Remove more remnants of deepfreeze (#118159)

bpo-18108: Adding dir_fd and follow_symlinks keyword args to shutil.chown (GH-15811)

* Adding dir_fd and follow_symlinks keyword args to shutil.chown
* Extending test_shutil.TestShutil.test_chown to include new kwargs
* Updating shutil.chown documentation

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Berker Peksag <berker.peksag@gmail.com>
Co-authored-by: Zachary Ware <zachary.ware@gmail.com>

gh-118030: Group definitions for `ParamSpecArgs` and `ParamSpecKwargs` in `typing.rst` (#118154)

gh-118148: Improve tests for shutil.make_archive() (GH-118149)

GH-115480: Reduce guard strength for binary ops when type of one operand is known already (GH-118050)

gh-115986 Improve pprint documentation accuracy (#117403)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-117995: Don't raise DeprecationWarnings for indexed nameless params (#118001)

Filter out '?NNN' placeholders when looking for named params.

Co-authored-by: AN Long <aisk@users.noreply.github.com>

gh-112075: Make instance attributes stored in inline "dict" thread safe (#114742)

Make instance attributes stored in inline "dict" thread safe on free-threaded builds

Docs: replace Harry Potter reference with Monty Python (#118130)

gh-115961: Add name and mode attributes for compressed file-like objects (GH-116036)

* Add name and mode attributes for compressed and archived file-like objects
  in modules bz2, lzma, tarfile and zipfile.
* Change the value of the mode attribute of GzipFile from integer (1 or 2)
  to string ('rb' or 'wb').
* Change the value of the mode attribute of ZipExtFile from 'r' to 'rb'.

gh-118121: Fix `test_doctest.test_look_in_unwrapped` (#118122)

gh-91629 Use conf.d configs and fish_add_path to set the PATH when installing for the Fish shell. (GH-91630)

Co-authored-by: Erlend E. Aasland <erlend@python.org>