GH-118095: Handle `RETURN_GENERATOR` in tier 2 (GH-118180)

gh-102511: Speed up os.path.splitroot() with native helpers (GH-118089)

gh-118221: Always use the default row factory in sqlite3.iterdump() (#118223)

sqlite3.iterdump() depends on the row factory returning resulting rows
as tuples; it will fail with custom row factories like for example a
dict factory.

With this commit, we explicitly reset the row factory of the cursor used
by iterdump(), so we always get predictable results. This does not
affect the row factory of the parent connection.

Co-authored-by: Mariusz Felisiak <felisiak.mariusz@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-118207: Rename the COMMON_FIELDS macro in funcobject.h and undef it after use (GH-118208)

gh-117968: Make the test for closed file more safe in the C API tests (GH-118230)

The behavior of fileno() after fclose() is undefined, but it is the only
practical way to check whether the file was closed.
Only test this on the known platforms (Linux, Windows, macOS), where we
already tested that it works.

gh-117786: Fix venv created from Windows Store install by restoring __PYVENV_LAUNCHER__ smuggling (GH-117814)

GH-118246: Exclude test_pathlib and test_posixpath from emulated JIT CI (GH-118247)

gh-108191: Add support of positional argument in SimpleNamespace constructor (GH-108195)

SimpleNamespace({'a': 1, 'b': 2}) and SimpleNamespace([('a', 1), ('b', 2)])
are now the same as SimpleNamespace(a=1, b=2).

gh-117953: Fix Refleaks Introduced by gh-118194 (gh-118250)

A couple of refleaks slipped through in gh-118194. This takes care of them.

(AKA _Py_ext_module_loader_info_init() does not steal references.)

gh-112730: Make the test suite resilient to color-activation environment variables (#117672)

gh-85453: Make numeric literals consistent across datetime.rst (#118245)

Remove code formatting from remaining numeric literals.

gh-85453: Adapt datetime.rst to devguide recommendations for code snippets and variables (#118068)

Also remove formatting from numeric literals.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-117953: Add Internal struct _Py_ext_module_loader_info (gh-118194)

This helps with a later change that splits up _PyImport_LoadDynamicModuleWithSpec().

gh-116988: Remove duplicates of `annotated_rhs` in the Grammar (#117004)

gh-117953: Let update_global_state_for_extension() Caller Decide If Singlephase or Not (gh-118193)

This change makes other upcoming changes simpler.

gh-76785: Rename _xxsubinterpreters to _interpreters (gh-117791)

See https://discuss.python.org/t/pep-734-multiple-interpreters-in-the-stdlib/41147/26.

gh-117953: Cleanups For fix_up_extension() in import.c (gh-118192)

These are cleanups I've pulled out of gh-118116.  Mostly, this change moves code around to align with some future changes and to improve clarity a little.  There is one very small change in behavior: we now add the module to the per-interpreter caches after updating the global state, rather than before.

gh-118013: Use weakrefs for the cache key in `inspect._shadowed_dict` (#118202)

GH-115419: Move setting the instruction pointer to error exit stubs (GH-118088)

GH-118095: Convert DEOPT_IFs on likely side exits to EXIT_IFs (GH-118106)

Covert DEOPT_IFs on likely side exits to EXIT_IFs

GH-117536: GH-117894: fix athrow().throw(...) unawaited warning (GH-117851)

gh-117225: Add color to doctest output (#117583)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

no-issue: devcontainer: update to Fedora 40 (gh-118161)

gh-117901: Add option for compiler's codegen to save nested instruction sequences for introspection (#118007)

gh-116023: Add `show_empty=False` to `ast.dump` (#116037)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-118074: Immortal executors are not GC-able (#118182)

Better version of gh-118117.
Just check for immortality instead of an address range check.

gh-118189: Revert accidentally added incl.tar (#118190)

gh-117657: Quiet TSAN warnings about remaining non-atomic accesses of `tstate->state` (#118165)

Quiet TSAN warnings about remaining non-atomic accesses of `tstate->state`

Fix typo in py_compile.rst (GH-118102)

gh-117151: optimize BufferedWriter(), do not buffer writes that are the buffer size (GH-118037)

BufferedWriter() was buffering calls that are the exact same size as the buffer. it's a very common case to read/write in blocks of the exact buffer size.

it's pointless to copy a full buffer, it's costing extra memory copy and the full buffer will have to be written in the next call anyway.

Co-authored-by: rmorotti <romain.morotti@man.com>

gh-117953: Small Cleanup of Extensions-Related Machinery Code (gh-118167)

This is a collection of very basic cleanups I've pulled out of gh-118116.  It is mostly renaming variables and moving a couple bits of code in functionally equivalent ways.

gh-118168: Fix Unpack interaction with builtin aliases (#118169)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-118140: Make the``test_concurrent_futures.test_init`` quiet. (GH-118141)

Add stream argument to unittest.TextTestRunner call

gh-118082: Improve `import` without names syntax error message (#118083)

gh-68114: Fix handling for removed PyArg_ParseTuple 'w' formatters (GH-8204)

Co-authored-by: Joe Jevnik <joe@quantopian.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-116984: Install mimalloc headers (#116985)

- Install mimalloc header only when enabled
- Rename WITH_MIMALLOC to INSTALL_MIMALLOC

gh-118039: Fix config.cache key on WASI (#118137)

gh-95754: Better error when script shadows a standard library or third party module (#113769)

gh-116741: Upgrade libexpat to 2.6.2 (#117296)

Upgrade libexpat to 2.6.2

GH-118074: Executors in the COLD_EXITS array are not GC'able (#118117)

Set proper permissions for `jit.yml` workflow (#118084)

gh-109118: Allow lambdas in annotation scopes in classes (#118019)

Remove more remnants of deepfreeze (#118159)

bpo-18108: Adding dir_fd and follow_symlinks keyword args to shutil.chown (GH-15811)

* Adding dir_fd and follow_symlinks keyword args to shutil.chown
* Extending test_shutil.TestShutil.test_chown to include new kwargs
* Updating shutil.chown documentation

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Berker Peksag <berker.peksag@gmail.com>
Co-authored-by: Zachary Ware <zachary.ware@gmail.com>

gh-118030: Group definitions for `ParamSpecArgs` and `ParamSpecKwargs` in `typing.rst` (#118154)

gh-118148: Improve tests for shutil.make_archive() (GH-118149)

GH-115480: Reduce guard strength for binary ops when type of one operand is known already (GH-118050)

gh-115986 Improve pprint documentation accuracy (#117403)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-117995: Don't raise DeprecationWarnings for indexed nameless params (#118001)

Filter out '?NNN' placeholders when looking for named params.

Co-authored-by: AN Long <aisk@users.noreply.github.com>

gh-112075: Make instance attributes stored in inline "dict" thread safe (#114742)

Make instance attributes stored in inline "dict" thread safe on free-threaded builds

Docs: replace Harry Potter reference with Monty Python (#118130)

gh-115961: Add name and mode attributes for compressed file-like objects (GH-116036)

* Add name and mode attributes for compressed and archived file-like objects
  in modules bz2, lzma, tarfile and zipfile.
* Change the value of the mode attribute of GzipFile from integer (1 or 2)
  to string ('rb' or 'wb').
* Change the value of the mode attribute of ZipExtFile from 'r' to 'rb'.

gh-118121: Fix `test_doctest.test_look_in_unwrapped` (#118122)

gh-91629 Use conf.d configs and fish_add_path to set the PATH when installing for the Fish shell. (GH-91630)

Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-114099: Formalize Tier 3 status of iOS (GH-118020)

``Objects/typeobject.c``: Fix typo (#118126)

Clarifying nonlocal doc: SyntaxError is raised if nearest enclosing scope is global (#114009)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-112855: Speed up `pathlib.PurePath` pickling (#112856)

The second item in the tuple returned from `__reduce__()` is a tuple of arguments to supply to path constructor. Previously we returned the `parts` tuple here, which entailed joining, parsing and normalising the path object, and produced a compact pickle representation.

With this patch, we instead return a tuple of paths that were originally given to the path constructor. This makes pickling much faster (at the expense of compactness).

It's worth noting that, in the olden times, pathlib performed this parsing/normalization up-front in every case, and so using `parts` for pickling was almost free. Nowadays pathlib only parses/normalises paths when it's necessary or advantageous to do so (e.g. computing a path parent, or iterating over a directory, respectively).

GH-115874: Fix segfault in FutureIter_dealloc (GH-117741)

gh-116818: Make `sys.settrace`, `sys.setprofile`, and monitoring thread-safe (#116775)

Makes sys.settrace, sys.setprofile, and monitoring generally thread-safe.

Mostly uses a stop-the-world approach and synchronization around the code object's _co_instrumentation_version.  There may be a little bit of extra synchronization around the monitoring data that's required to be TSAN clean.

[gh-117657] _Py_MergeZeroLocalRefcount isn't loading ob_ref_shared with strong enough semantics (#118111)

Use acquire for load of ob_ref_shared

Fix a typo in dictobject.c documentation (#117515)

gh-114099: Modify preprocessor symbol usage to support older macOS SDKs (GH-118073)

Co-authored-by: Joshua Root jmr@macports.org

gh-118100: Improve links in `ast.rst` (#118101)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-117657: use relaxed loads for checking dict keys immortality (#118067)

Use relaxed load to check if dictkeys are immortal

gh-118079: Fix ``requires_singlephase_init`` helper (#118081)

Before this PR tests decorated with a `requires_singlephase_init` helper
did not run because of an incorrect call to the `requires_gil_enabled`
helper.

gh-114053: Fix bad interaction of PEP-695, PEP-563 and ``get_type_hints`` (#118009)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-116931: Add fileobj parameter check for Tarfile.addfile (GH-117988)

Tarfile.addfile now throws an ValueError when the user passes
in a non-zero size tarinfo but does not provide a fileobj,
instead of writing an incomplete entry.

setobject: remove out of date docstring info (GH-118048)

gh-88035: update doc-string of `epoch` in timemodule.c (GH-118076)

Follow #88035, update doc-string of epoch in timemodule.c

The epoch is `January 1st, 1970 on all platforms`, according to
current documentation.

gh-115775: Add whatsnew entry about __static_attributes__ (GH-117909)

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>
Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-116935: Document that heap types need to support garbage collection (GH-118021)

gh-117518: Clarify PyTuple_GetItem() borrowed reference in the doc (GH-117920)

GH-116202: Incorporate invalidation check into _START_EXECUTOR. (GH-118044)

GH-115419: Improve list of escaping functions (GH-118054)

gh-64588: Clarify the difference between mu and xbar in statistics docs (#117333)

Thanks Davin Potts for the clarification idea.

build(deps): bump hypothesis from 6.98.15 to 6.100.0 in /Tools (#117416)

Bumps [hypothesis](https://github.com/HypothesisWorks/hypothesis) from 6.98.15 to 6.100.0.
- [Release notes](https://github.com/HypothesisWorks/hypothesis/releases)
- [Commits](https://github.com/HypothesisWorks/hypothesis/compare/hypothesis-python-6.98.15...hypothesis-python-6.100.0)

---
updated-dependencies:
- dependency-name: hypothesis
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Docs: Fix CVE link (#118077)

gh-117535: Change unknown filename of warnings from `sys` to `<sys>` (#118018)

Use "Contributed by" in a couple of occurrences of 3.12 whatsnew (#118070)

gh-112069: Make PySet_GET_SIZE to be atomic safe. (gh-118053)

gh-112069: Make PySet_GET_SIZE to be atomic operation

gh-102402: Fix logging test_relativeCreated_has_higher_precision() leak (#117985)

Fix a reference leak in test_relativeCreated_has_higher_precision()
of test_logging: don't reimport the logging the logging module.

gh-117503: Fix test for posixpath.expanduser() when pw_dir ends with / (GH-118056)

gh-112069:  Add _PySet_NextEntryRef to be thread-safe. (gh-117990)

GH-118036: Fix a bug with CALL_STAT_INC (#117933)

We were under-counting calls in `_PyEvalFramePushAndInit`
because the `CALL_STAT_INC` macro was redefined to a no-op
for the Tier 2 interpreter. The fix is not to `#undef` it at all.
This results in ~37% more "Frames pushed" reported
under "Call stats".

gh-87969: Align docs and docstrings with implementation for ctypes' [w]string_at() (#25384)

The implementation uses 'ptr' for the name of the first parameter of
ctypes.string_at() and ctypes.wstring_at(). Align docs and docstrings
with the naming used in the implementation.

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-117987: Restore several functions removed in Python 3.13 alpha 1 (GH-117993)

Restore these functions removed in Python 3.13 alpha 1:

* Py_SetPythonHome()
* Py_SetProgramName()
* PySys_SetArgvEx()
* PySys_SetArgv()

gh-116932: Remove redundant NEWS entry (#118040)

GH-115419: Tidy up tier 2 optimizer. Merge peephole pass into main pass (GH-117997)

gh-90815: Document bundled mimalloc in What’s New In Python 3.13 (GH-117811)

fix formatting of literal in docstring of int.from_bytes and int.to_bytes (#117847)

gh-116932: Add note on how to report python documentation theme bugs (GH-117989)

Fix two typos in `typeobject.c` (#118024)

gh-118023: Fix reference leak (#118025)

gh-117641: Improve the perfornance of posixpath.commonpath() (#117652)

gh-117968: Add tests for the part of the PyRun family of the C API (GH-117982)

Co-authored-by: NGRsoftlab <78017794+NGRsoftlab@users.noreply.github.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-117613: Argument Clinic: disallow defining class parameter at module level (#117950)

gh-114539: Clarify implicit launching of shells by subprocess (GH-117996)

gh-94673: Fix compiler warning in typeobject.c (#117980)

gh-117657: Quiet erroneous TSAN reports of data races in `_PySeqLock` (#117955)

Quiet erroneous TSAN reports of data races in `_PySeqLock`

TSAN reports a couple of data races between the compare/exchange in
`_PySeqLock_LockWrite` and the non-atomic loads in `_PySeqLock_{Abandon,Unlock}Write`.
This is another instance of TSAN incorrectly modeling failed compare/exchange
as a write instead of a load.