gh-111652: Fix --enable-pystats build (GH-111653)

CI: Make macOS Intel required to succeed (GH-110362)

docs: specify that PyBytes_AsStringAndSize returns 0 on success (GH-110888)

docs: specify return value on success

gh-111681: minor fixes to typing doctests; remove unused imports in `test_typing` (#111682)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-106168: Revert the "size before item" setting (#111683)

gh-106168: Update the size only after setting the item, to avoid temporary inconsistencies.
Also remove the "what's new" sentence regarding the size setting since tuples cannot grow after allocation.

gh-111354: Simplify _PyGen_yf by moving some of its work to the compiler and frame state (#111648)

gh-90026: support XATTRs on Cygwin (GH-105075)

gh-111490: Make the exception type check in test_pyexpat more specific (GH-111491)

gh-108082: Remove _PyErr_WriteUnraisableMsg() (GH-111643)

Replace the remaining calls with PyErr_FormatUnraisable().

gh-54434: Make difflib.rst doctests pass. (#111677)

gh-111654: remove redundant decref in LOAD_FROM_DICT_OR_DEREF (#111655)

gh-76785: Minor Fixes in crossinterp.c (gh-111671)

There were a few corner cases I didn't handle properly in gh-111530, which I've noticed while working on a follow-up PR.  This fixes those cases.

Fix typo in documentation of `SysLogHandler.createSocket` (#111665)

gh-111663: Restore the Tier 2 uop count pystats (#111664)

gh-110892: Return NULL for `PyTrace_RETURN` events caused by an exception (GH-110909)

GH-109369 Add vectorcall to `PyLong_Type` (GH-111642)

gh-111482: Use Argument Clinic for clock_gettime() (#111641)

Use Argument Clinic for time.clock_gettime() and
time.clock_gettime_ns() functions.

Benchmark on time.clock_gettime_ns():

    import time
    import pyperf
    runner = pyperf.Runner()
    runner.timeit(
        'clock_gettime_ns(CLOCK_MONOTONIC_COARSE)',
        setup='import time; clock_gettime_ns=time.clock_gettime_ns; CLOCK_MONOTONIC_COARSE=6',
        stmt='clock_gettime_ns(CLOCK_MONOTONIC_COARSE)')

Result on Linux with CPU isolation:

Mean +- std dev: [ref] 134 ns +- 1 ns -> [change] 55.7 ns +- 1.4 ns: 2.41x faster

gh-111625: Fix link to Info-ZIP homepage (#111626)

build(deps): bump hypothesis from 6.87.1 to 6.88.1 in /Tools (#111596)

Bumps [hypothesis](https://github.com/HypothesisWorks/hypothesis) from 6.87.1 to 6.88.1.
- [Release notes](https://github.com/HypothesisWorks/hypothesis/releases)
- [Commits](https://github.com/HypothesisWorks/hypothesis/compare/hypothesis-python-6.87.1...hypothesis-python-6.88.1)

---
updated-dependencies:
- dependency-name: hypothesis
  dependency-type: direct:production
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

build(deps): bump actions/setup-node from 3 to 4 (#111594)

* build(deps): bump actions/setup-node from 3 to 4

Bumps [actions/setup-node](https://github.com/actions/setup-node) from 3 to 4.
- [Release notes](https://github.com/actions/setup-node/releases)
- [Commits](https://github.com/actions/setup-node/compare/v3...v4)

---
updated-dependencies:
- dependency-name: actions/setup-node
  dependency-type: direct:production
  update-type: version-update:semver-major
...

Signed-off-by: dependabot[bot] <support@github.com>
* Bump to Node.js 20

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
---------

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

gh-111354: simplify detection of RESUME after YIELD_VALUE at except-depth 1  (#111459)

gh-108082: Use PyErr_FormatUnraisable() (GH-111580)

Replace most of calls of _PyErr_WriteUnraisableMsg() and some
calls of PyErr_WriteUnraisable(NULL) with PyErr_FormatUnraisable().

Co-authored-by: Victor Stinner <vstinner@python.org>

Remove unnecessary includes (GH-111633)

GH-110894: Call loop exception handler for exceptions in client_connected_cb (#111601)

Call loop exception handler for exceptions in `client_connected_cb` of `asyncio.start_server` so that applications can handle it.

gh-111544: Fix mimalloc build on AIX (#111593)

GH-111435: Add Support for Sharing True and False Between Interpreters (gh-111436)

This only affects users of the APIs in pycore_crossinterp.h (AKA _xxsubinterpretersmodule.c and _xxinterpchannels.c).

gh-76785: Crossinterp utils additions (gh-111530)

This moves several general internal APIs out of _xxsubinterpretersmodule.c and into the new Python/crossinterp.c (and the corresponding internal headers).

Specifically:

* _Py_excinfo, etc.:  the initial implementation for non-object exception snapshots (in pycore_pyerrors.h and Python/errors.c)
* _PyXI_exception_info, etc.:  helpers for passing an exception beween interpreters (wraps _Py_excinfo)
* _PyXI_namespace, etc.:  helpers for copying a dict of attrs between interpreters
* _PyXI_Enter(), _PyXI_Exit():  functions that abstract out the transitions between one interpreter and a second that will do some work temporarily

Again, these were all abstracted out of _xxsubinterpretersmodule.c as generalizations.  I plan on proposing these as public API at some point.

gh-111089: Use PyUnicode_AsUTF8() in getargs.c (#111620)

Replace PyUnicode_AsUTF8AndSize() with PyUnicode_AsUTF8() to remove
the explicit check for embedded null characters.

High level docs for the VM state (#111621)

GH-111485: Silence warnings in Python/executor_cases.c.h (#111619)

gh-106718: Treat PyConfig.stdlib_dir as highest-priority setting for stdlib_dir when calculating paths (GH-108730)

gh-106168: Update PyList_SET_ITEM() What's New doc (#111618)

gh-111374: Add a new PYTHON_FROZEN_MODULES env var, equivalent of `-X frozen_modules`. (#111411)

Adds a new PYTHON_FROZEN_MODULES env var to correspond with -X frozen_modules.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111520: Integrate the Tier 2 interpreter in the Tier 1 interpreter (#111428)

- There is no longer a separate Python/executor.c file.
- Conventions in Python/bytecodes.c are slightly different -- don't use `goto error`,
  you must use `GOTO_ERROR(error)` (same for others like `unused_local_error`).
- The `TIER_ONE` and `TIER_TWO` symbols are only valid in the generated (.c.h) files.
- In Lib/test/support/__init__.py, `Py_C_RECURSION_LIMIT` is imported from `_testcapi`.
- On Windows, in debug mode, stack allocation grows from 8MiB to 12MiB.
- **Beware!** This changes the env vars to enable uops and their debugging
  to `PYTHON_UOPS` and `PYTHON_LLTRACE`.

Simplify trivial calls of PyUnicode_FromFormat() (GH-111605)

gh-111089: Use PyUnicode_AsUTF8() in Argument Clinic (#111585)

Replace PyUnicode_AsUTF8AndSize() with PyUnicode_AsUTF8() to remove
the explicit check for embedded null characters.

The change avoids to have to include explicitly <string.h> to get the
strlen() function when using a recent version of the limited C API.

gh-111495: Add tests for PyBytes and PyByteArray C API (GH-111496)

Simplify _PyPegen_join_names_with_dot() (GH-111602)

GH-111537: Avoid using `this_instr` in asserts. (GH-111600)

GH-111485: Use micro-ops to split specialization code from base action (GH-111561)

gh-111576: Improve documention for tkinter.messagebox (GH-111578)

gh-111495: add stub files for C API test modules (GH-111586)

This is to reduce merge conflicts (Modules/Setup.stdlib.in) for
subsequent pull requests for the issue.

gh-110367: Make regrtest --verbose3 compatible with --huntrleaks -jN (#111577)

"./python -m test -j1 -R 3:3 --verbose3" now works as expected, since
run_single_test() does not replace sys.stdout with StringIO in this
case.

gh-110968: Py_MOD_PER_INTERPRETER_GIL_SUPPORTED was added to 3.12 (#111584)

gh-111282: Fix NamedTemporaryFile example code (GH-111283)

gh-110774: allow setting the Runner(loop_factory=...) from IsolatedAsyncioTestCase (#110776)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

gh-108082: Add PyErr_FormatUnraisable() function (GH-111086)

gh-111420: Allow type comments in parenthesized `with` statements (#111468)

gh-108765: Python.h no longer includes <stddef.h> on Windows (#111563)

In practice, only Windows is impacted, because the HAVE_STDDEF_H
macro was only defined on Windows.

gh-90815: Exclude mimalloc .c files from Windows build (#111532)

* Don't include mimalloc .c's in Windows build
* Fix warnings on Windows related to mimalloc

gh-102249: Expand sys.call_tracing documentation (#102806)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-93607: document `root` attribute of `iterparse` (#99410)

Co-authored-by: Stanley <46876382+slateny@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-106861: Docs: Add availability directives to all Unix-only modules (#108975)

gh-111062: CI: Rename reusable-build-[X].yml to reusable-[X].yml (#111552)

gh-109181: Speed up Traceback object creation by lazily compute the line number (#111548)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>

GH-111438: Add Support for Sharing Floats Between Interpreters (gh-111439)

This only affects users of the APIs in pycore_crossinterp.h (AKA _xxsubinterpretersmodule.c and _xxinterpchannels.c).

GH-111485: Remove some special cases from the code generator and bytecodes.c (GH-111540)

GH-111485: Increment `next_instr` consistently at the start of the instruction. (GH-111486)

gh-111531: Tkinter: fix reference leaks in bind_class() and bind_all() (GH-111533)

gh-111301: Move importlib.resources changes to the Removed section (#111509)

gh-111301: Move `importlib.resources.files` change to What's new in Python 3.12 (#111512)

gh-111062 CI: Update skip lists for resuable workflows (#111521)

CI: Update skip lists

gh-111277: In summarize_stats.py, don't fail fast on invalid ratios (#111278)

gh-109329: Count tier2 opcode misses (#110561)

This keeps a separate 'miss' counter for each micro-opcode, incremented whenever a guard uop takes a deoptimization side exit.

gh-76785: Move the Cross-Interpreter Code to Its Own File (gh-111502)

This is partly to clear this stuff out of pystate.c, but also in preparation for moving some code out of _xxsubinterpretersmodule.c.  This change also moves this stuff to the internal API (new: Include/internal/pycore_crossinterp.h).  @vstinner did this previously and I undid it.  Now I'm re-doing it. :/

gh-110697: Use CLOCK_RES in test_os.TimerfdTests (#111529)

More TimerfdTests tests tolerate a difference of 1 ms in measured
elapsed time.

gh-90815: Fix mimalloc atomic.h on Windows arm64 (#111527)

mi_atomic_load_explicit() casts 'p' argument to drop the 'const'
qualifier on Windows arm64 platform. Fix the compiler warning:

    'function': different 'const' qualifiers
    (compiling source file ..\Objects\mimalloc\options.c)

gh-90815: Fix mimalloc build on WASI (#111524)

Include <unistd.h> to get sbrk() function.

gh-90815: Fix _PyMem_MimallocEnabled() compiler warning (#111522)

Don't declare _PyMem_MimallocEnabled() if WITH_PYMALLOC macro is not
defined (./configure --without-pymalloc).

Fix also a typo in _PyInterpreterState_FinalizeAllocatedBlocks().

Remove myself from typing CODEOWNERS (#111523)

gh-111181: Fix enum doctests (GH-111180)

Co-authored-by: Ethan Furman <ethan@stoneleaf.us>

gh-111366: Correctly show custom syntax error messages in the codeop module functions (#111384)

gh-111284: Make multiprocessing tests with threads faster and more reliable (GH-111285)

gh-110481: Fix _Py_ThreadId for non-free-threaded mode (gh-111503)

gh-108082: C API: Add tests for PyErr_WriteUnraisable() (GH-111455)

Also document the behavior when called with NULL.

gh-109515: When generating deep frozen modules on Windows, use a list file instead of arguments (GH-109516)

gh-110481: Implement biased reference counting (gh-110764)

gh-90815: Add mimalloc memory allocator (#109914)

* Add mimalloc v2.12

Modified src/alloc.c to remove include of alloc-override.c and not
compile new handler.

Did not include the following files:

 - include/mimalloc-new-delete.h
 - include/mimalloc-override.h
 - src/alloc-override-osx.c
 - src/alloc-override.c
 - src/static.c
 - src/region.c

mimalloc is thread safe and shares a single heap across all runtimes,
therefore finalization and getting global allocated blocks across all
runtimes is different.

* mimalloc: minimal changes for use in Python:

 - remove debug spam for freeing large allocations
 - use same bytes (0xDD) for freed allocations in CPython and mimalloc
   This is important for the test_capi debug memory tests

* Don't export mimalloc symbol in libpython.
* Enable mimalloc as Python allocator option.
* Add mimalloc MIT license.
* Log mimalloc in Lib/test/pythoninfo.py.
* Document new mimalloc support.
* Use macro defs for exports as done in:
  https://github.com/python/cpython/pull/31164/

Co-authored-by: Sam Gross <colesbury@gmail.com>
Co-authored-by: Christian Heimes <christian@python.org>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-111062: Reusable Windows build that supports free-threaded mode as the conditional CI (#111493)

* gh-111062 Set up free-threaded CI for windows

Co-authored-by: Donghee Na <donghee.na@python.org>
* Apply suggestions from code review

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
* Update

* Update names

* Add files

* Update

* Revert "Update"

This reverts commit 4f17e1af0dbce3b7959b93b41baaf040dee790cc.

* fix

---------

Co-authored-by: juanjose.tenorio <juanjose2611@gmail.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111062: Update name of reusable workflows for Ubuntu / macOS (gh-111494)

gh-111062 Update name of reusable workflows for linux / macOS

gh-111062: Reusable ubuntu build that supports free-threaded mode as the conditional CI (#111452)

Co-authored-by: Donghee Na <donghee.na92@gmail.com>

gh-106168: Check allocated instead of size index bounds in PyList_SET_ITEM() (#111480)

Check the index bound assertions in PyList_SET_ITEM() against [0:allocated] instead of [0:size] to re-allow valid use cases that assign within the allocated area.

GH-111339: Fix initialization and finalization of static optimizer types (GH-111430)

gh-111165: Remove documentation for moved functions (GH-111467)

gh-101100: Fix sphinx warnings in `library/asyncio-eventloop.rst` (GH-111222)

* gh-101100: Fix sphinx warnings in `library/asyncio-eventloop.rst`

* Update Doc/library/socket.rst

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
* Update asyncio-eventloop.rst

* Update socket.rst

---------

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111347: Remove wrong assertion in test_sendfile (#111377)

Windows is different.

gh-111062: Build both default and free-threaded on macOS (gh-111449)

gh-94808: Add coverage test for number check (gh-111445)

gh-111062: Separate macOS build into a reusable workflow (gh-111444)

gh-66425: Remove the unreachable code to set `REMOTE_HOST` header (gh-111441)

gh-111426: Remove `test_cmd.test_coverage` (#111427)

GH-110109: Move tests for `pathlib.Path.walk()` into main test classes. (#110655)

gh-79033: Try to fix asyncio.Server.wait_closed() again (GH-111336)

* Try to fix asyncio.Server.wait_closed() again

I identified the condition that `wait_closed()` is intended
to wait for: the server is closed *and* there are no more
active connections.

When this condition first becomes true, `_wakeup()` is called
(either from `close()` or from `_detach()`) and it sets `_waiters`
to `None`. So we just check for `self._waiters is None`; if it's
not `None`, we know we have to wait, and do so.

A problem was that the new test introduced in 3.12 explicitly
tested that `wait_closed()` returns immediately when the server
is *not* closed but there are currently no active connections.
This was a mistake (probably a misunderstanding of the intended
semantics). I've fixed the test, and added a separate test that
checks exactly for this scenario.

I also fixed an oddity where in `_wakeup()` the result of the
waiter was set to the waiter itself. This result is not used
anywhere and I changed this to `None`, to avoid a GC cycle.

* Update Lib/asyncio/base_events.py

---------

Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

CI: Include Python version in cache.config key (#111410)

* Include Python version in cache.config key, after Python setup

* Remove EOL 3.7 from branch triggers

gh-111342: fix typo in math.sumprod (GH-111416)

gh-110205: Fix asyncio ThreadedChildWatcher._join_threads() (#110884)

- `ThreadedChildWatcher.close()` is now *officially* a no-op; `_join_threads()` never did anything.
- Threads created by that class are now named `asyncio-waitpid-NNN`.
- `test.test_asyncio.utils.TestCase.close_loop()` now waits for the child watcher's threads, but not forever; if a thread hangs, it raises `RuntimeError`.

gh-59013: Make line number of function breakpoint more precise (#110582)

gh-108765: Include explicitly <unistd.h> in signalmodule.c (#111402)

unistd.h is needed by alarm() and pause() functions.

gh-111406: Fix broken link to bpython's site (#111407)

Fix typos in import system docs (#111396)