gh-76785: Crossinterp utils additions (gh-111530)

This moves several general internal APIs out of _xxsubinterpretersmodule.c and into the new Python/crossinterp.c (and the corresponding internal headers).

Specifically:

* _Py_excinfo, etc.:  the initial implementation for non-object exception snapshots (in pycore_pyerrors.h and Python/errors.c)
* _PyXI_exception_info, etc.:  helpers for passing an exception beween interpreters (wraps _Py_excinfo)
* _PyXI_namespace, etc.:  helpers for copying a dict of attrs between interpreters
* _PyXI_Enter(), _PyXI_Exit():  functions that abstract out the transitions between one interpreter and a second that will do some work temporarily

Again, these were all abstracted out of _xxsubinterpretersmodule.c as generalizations.  I plan on proposing these as public API at some point.

gh-111089: Use PyUnicode_AsUTF8() in getargs.c (#111620)

Replace PyUnicode_AsUTF8AndSize() with PyUnicode_AsUTF8() to remove
the explicit check for embedded null characters.

High level docs for the VM state (#111621)

GH-111485: Silence warnings in Python/executor_cases.c.h (#111619)

gh-106718: Treat PyConfig.stdlib_dir as highest-priority setting for stdlib_dir when calculating paths (GH-108730)

gh-106168: Update PyList_SET_ITEM() What's New doc (#111618)

gh-111374: Add a new PYTHON_FROZEN_MODULES env var, equivalent of `-X frozen_modules`. (#111411)

Adds a new PYTHON_FROZEN_MODULES env var to correspond with -X frozen_modules.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111520: Integrate the Tier 2 interpreter in the Tier 1 interpreter (#111428)

- There is no longer a separate Python/executor.c file.
- Conventions in Python/bytecodes.c are slightly different -- don't use `goto error`,
  you must use `GOTO_ERROR(error)` (same for others like `unused_local_error`).
- The `TIER_ONE` and `TIER_TWO` symbols are only valid in the generated (.c.h) files.
- In Lib/test/support/__init__.py, `Py_C_RECURSION_LIMIT` is imported from `_testcapi`.
- On Windows, in debug mode, stack allocation grows from 8MiB to 12MiB.
- **Beware!** This changes the env vars to enable uops and their debugging
  to `PYTHON_UOPS` and `PYTHON_LLTRACE`.

Simplify trivial calls of PyUnicode_FromFormat() (GH-111605)

gh-111089: Use PyUnicode_AsUTF8() in Argument Clinic (#111585)

Replace PyUnicode_AsUTF8AndSize() with PyUnicode_AsUTF8() to remove
the explicit check for embedded null characters.

The change avoids to have to include explicitly <string.h> to get the
strlen() function when using a recent version of the limited C API.

gh-111495: Add tests for PyBytes and PyByteArray C API (GH-111496)

Simplify _PyPegen_join_names_with_dot() (GH-111602)

GH-111537: Avoid using `this_instr` in asserts. (GH-111600)

GH-111485: Use micro-ops to split specialization code from base action (GH-111561)

gh-111576: Improve documention for tkinter.messagebox (GH-111578)

gh-111495: add stub files for C API test modules (GH-111586)

This is to reduce merge conflicts (Modules/Setup.stdlib.in) for
subsequent pull requests for the issue.

gh-110367: Make regrtest --verbose3 compatible with --huntrleaks -jN (#111577)

"./python -m test -j1 -R 3:3 --verbose3" now works as expected, since
run_single_test() does not replace sys.stdout with StringIO in this
case.

gh-110968: Py_MOD_PER_INTERPRETER_GIL_SUPPORTED was added to 3.12 (#111584)

gh-111282: Fix NamedTemporaryFile example code (GH-111283)

gh-110774: allow setting the Runner(loop_factory=...) from IsolatedAsyncioTestCase (#110776)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

gh-108082: Add PyErr_FormatUnraisable() function (GH-111086)

gh-111420: Allow type comments in parenthesized `with` statements (#111468)

gh-108765: Python.h no longer includes <stddef.h> on Windows (#111563)

In practice, only Windows is impacted, because the HAVE_STDDEF_H
macro was only defined on Windows.

gh-90815: Exclude mimalloc .c files from Windows build (#111532)

* Don't include mimalloc .c's in Windows build
* Fix warnings on Windows related to mimalloc

gh-102249: Expand sys.call_tracing documentation (#102806)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-93607: document `root` attribute of `iterparse` (#99410)

Co-authored-by: Stanley <46876382+slateny@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-106861: Docs: Add availability directives to all Unix-only modules (#108975)

gh-111062: CI: Rename reusable-build-[X].yml to reusable-[X].yml (#111552)

gh-109181: Speed up Traceback object creation by lazily compute the line number (#111548)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>

GH-111438: Add Support for Sharing Floats Between Interpreters (gh-111439)

This only affects users of the APIs in pycore_crossinterp.h (AKA _xxsubinterpretersmodule.c and _xxinterpchannels.c).

GH-111485: Remove some special cases from the code generator and bytecodes.c (GH-111540)

GH-111485: Increment `next_instr` consistently at the start of the instruction. (GH-111486)

gh-111531: Tkinter: fix reference leaks in bind_class() and bind_all() (GH-111533)

gh-111301: Move importlib.resources changes to the Removed section (#111509)

gh-111301: Move `importlib.resources.files` change to What's new in Python 3.12 (#111512)

gh-111062 CI: Update skip lists for resuable workflows (#111521)

CI: Update skip lists

gh-111277: In summarize_stats.py, don't fail fast on invalid ratios (#111278)

gh-109329: Count tier2 opcode misses (#110561)

This keeps a separate 'miss' counter for each micro-opcode, incremented whenever a guard uop takes a deoptimization side exit.

gh-76785: Move the Cross-Interpreter Code to Its Own File (gh-111502)

This is partly to clear this stuff out of pystate.c, but also in preparation for moving some code out of _xxsubinterpretersmodule.c.  This change also moves this stuff to the internal API (new: Include/internal/pycore_crossinterp.h).  @vstinner did this previously and I undid it.  Now I'm re-doing it. :/

gh-110697: Use CLOCK_RES in test_os.TimerfdTests (#111529)

More TimerfdTests tests tolerate a difference of 1 ms in measured
elapsed time.

gh-90815: Fix mimalloc atomic.h on Windows arm64 (#111527)

mi_atomic_load_explicit() casts 'p' argument to drop the 'const'
qualifier on Windows arm64 platform. Fix the compiler warning:

    'function': different 'const' qualifiers
    (compiling source file ..\Objects\mimalloc\options.c)

gh-90815: Fix mimalloc build on WASI (#111524)

Include <unistd.h> to get sbrk() function.

gh-90815: Fix _PyMem_MimallocEnabled() compiler warning (#111522)

Don't declare _PyMem_MimallocEnabled() if WITH_PYMALLOC macro is not
defined (./configure --without-pymalloc).

Fix also a typo in _PyInterpreterState_FinalizeAllocatedBlocks().

Remove myself from typing CODEOWNERS (#111523)

gh-111181: Fix enum doctests (GH-111180)

Co-authored-by: Ethan Furman <ethan@stoneleaf.us>

gh-111366: Correctly show custom syntax error messages in the codeop module functions (#111384)

gh-111284: Make multiprocessing tests with threads faster and more reliable (GH-111285)

gh-110481: Fix _Py_ThreadId for non-free-threaded mode (gh-111503)

gh-108082: C API: Add tests for PyErr_WriteUnraisable() (GH-111455)

Also document the behavior when called with NULL.

gh-109515: When generating deep frozen modules on Windows, use a list file instead of arguments (GH-109516)

gh-110481: Implement biased reference counting (gh-110764)

gh-90815: Add mimalloc memory allocator (#109914)

* Add mimalloc v2.12

Modified src/alloc.c to remove include of alloc-override.c and not
compile new handler.

Did not include the following files:

 - include/mimalloc-new-delete.h
 - include/mimalloc-override.h
 - src/alloc-override-osx.c
 - src/alloc-override.c
 - src/static.c
 - src/region.c

mimalloc is thread safe and shares a single heap across all runtimes,
therefore finalization and getting global allocated blocks across all
runtimes is different.

* mimalloc: minimal changes for use in Python:

 - remove debug spam for freeing large allocations
 - use same bytes (0xDD) for freed allocations in CPython and mimalloc
   This is important for the test_capi debug memory tests

* Don't export mimalloc symbol in libpython.
* Enable mimalloc as Python allocator option.
* Add mimalloc MIT license.
* Log mimalloc in Lib/test/pythoninfo.py.
* Document new mimalloc support.
* Use macro defs for exports as done in:
  https://github.com/python/cpython/pull/31164/

Co-authored-by: Sam Gross <colesbury@gmail.com>
Co-authored-by: Christian Heimes <christian@python.org>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-111062: Reusable Windows build that supports free-threaded mode as the conditional CI (#111493)

* gh-111062 Set up free-threaded CI for windows

Co-authored-by: Donghee Na <donghee.na@python.org>
* Apply suggestions from code review

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
* Update

* Update names

* Add files

* Update

* Revert "Update"

This reverts commit 4f17e1af0dbce3b7959b93b41baaf040dee790cc.

* fix

---------

Co-authored-by: juanjose.tenorio <juanjose2611@gmail.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111062: Update name of reusable workflows for Ubuntu / macOS (gh-111494)

gh-111062 Update name of reusable workflows for linux / macOS

gh-111062: Reusable ubuntu build that supports free-threaded mode as the conditional CI (#111452)

Co-authored-by: Donghee Na <donghee.na92@gmail.com>

gh-106168: Check allocated instead of size index bounds in PyList_SET_ITEM() (#111480)

Check the index bound assertions in PyList_SET_ITEM() against [0:allocated] instead of [0:size] to re-allow valid use cases that assign within the allocated area.

GH-111339: Fix initialization and finalization of static optimizer types (GH-111430)

gh-111165: Remove documentation for moved functions (GH-111467)

gh-101100: Fix sphinx warnings in `library/asyncio-eventloop.rst` (GH-111222)

* gh-101100: Fix sphinx warnings in `library/asyncio-eventloop.rst`

* Update Doc/library/socket.rst

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
* Update asyncio-eventloop.rst

* Update socket.rst

---------

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111347: Remove wrong assertion in test_sendfile (#111377)

Windows is different.

gh-111062: Build both default and free-threaded on macOS (gh-111449)

gh-94808: Add coverage test for number check (gh-111445)

gh-111062: Separate macOS build into a reusable workflow (gh-111444)

gh-66425: Remove the unreachable code to set `REMOTE_HOST` header (gh-111441)

gh-111426: Remove `test_cmd.test_coverage` (#111427)

GH-110109: Move tests for `pathlib.Path.walk()` into main test classes. (#110655)

gh-79033: Try to fix asyncio.Server.wait_closed() again (GH-111336)

* Try to fix asyncio.Server.wait_closed() again

I identified the condition that `wait_closed()` is intended
to wait for: the server is closed *and* there are no more
active connections.

When this condition first becomes true, `_wakeup()` is called
(either from `close()` or from `_detach()`) and it sets `_waiters`
to `None`. So we just check for `self._waiters is None`; if it's
not `None`, we know we have to wait, and do so.

A problem was that the new test introduced in 3.12 explicitly
tested that `wait_closed()` returns immediately when the server
is *not* closed but there are currently no active connections.
This was a mistake (probably a misunderstanding of the intended
semantics). I've fixed the test, and added a separate test that
checks exactly for this scenario.

I also fixed an oddity where in `_wakeup()` the result of the
waiter was set to the waiter itself. This result is not used
anywhere and I changed this to `None`, to avoid a GC cycle.

* Update Lib/asyncio/base_events.py

---------

Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

CI: Include Python version in cache.config key (#111410)

* Include Python version in cache.config key, after Python setup

* Remove EOL 3.7 from branch triggers

gh-111342: fix typo in math.sumprod (GH-111416)

gh-110205: Fix asyncio ThreadedChildWatcher._join_threads() (#110884)

- `ThreadedChildWatcher.close()` is now *officially* a no-op; `_join_threads()` never did anything.
- Threads created by that class are now named `asyncio-waitpid-NNN`.
- `test.test_asyncio.utils.TestCase.close_loop()` now waits for the child watcher's threads, but not forever; if a thread hangs, it raises `RuntimeError`.

gh-59013: Make line number of function breakpoint more precise (#110582)

gh-108765: Include explicitly <unistd.h> in signalmodule.c (#111402)

unistd.h is needed by alarm() and pause() functions.

gh-111406: Fix broken link to bpython's site (#111407)

Fix typos in import system docs (#111396)

gh-111386: Fix `uint32_t` cast in `generated_cases.c.h` (#111387)

gh-111388: Add `show_group` parameter to `traceback.format_exception_only` (#111390)

gh-111276: Clarify docs and comments about the role of LC_CTYPE (#111319)

Fix locale.LC_CTYPE documentation to no longer mention string.lower() et al. Those functions were removed in Python 3.0:
https://docs.python.org/2/library/string.html#deprecated-string-functions

Also, fix a comment in logging about locale-specific behavior of `str.lower()`.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

no-issue: Remove unused variable in getpath.py (gh-111372)

gh-89519: Remove classmethod descriptor chaining, deprecated since 3.11 (gh-110163)

gh-111343: Fix `itertools` docs: `start` arg is optional for `count` (gh-111344)

gh-109587: Allow "precompiled" perf-trampolines to largely mitigate the cost of enabling perf-trampolines (#109666)

gh-111380: Show SyntaxWarnings only once when parsing if invalid syntax is encouintered (#111381)

GH-94438: Fix RuntimeWarning for jump tests in test_sys_settrace (GH-111341)

GH-111293: Fix DirEntry.inode dropping higher bits on Windows (GH-111294)

gh-111354: define names for RESUME oparg values (#111365)

gh-111259: Optimize recursive wildcards in pathlib (GH-111303)

Regular expression pattern `(?s:.)` is much faster than `[\s\S]`.

gh-109094: replace frame->prev_instr by frame->instr_ptr (#109095)

Output more details in the re tracing (GH-111357)

gh-111348: Fix direct invocation of `test_doctest`; remove `test_doctest.test_coverage` (#111349)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>

GH-111213: Fix a few broken stats (GH-111216)

GH-111339: Change `valid` property of executors to `is_valid()` method (GH-111350)

bpo-43950: handle wide unicode characters in tracebacks (#28150)

gh-67224: Show source lines in tracebacks when using the -c option when running Python (#111200)

Docs: Add `restart_events()` and positional arg semantics for `sys.monitoring` (#111291)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-110679: Improved markup in enum.rst (GH-110747)

gh-100762: Fix optimization in gen_close  (#111069)

gh-111165: Add missed "support." prefix for "verbose" (GH-111327)

gh-108590: Improve sqlite3 docs on encoding issues and how to handle those (#108699)

Add a guide for how to handle non-UTF-8 text encodings.
Link to that guide from the 'text_factory' docs.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Corvin <corvin@corvin.dev>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-111187: Postpone removal version for locale.getdefaultlocale() to 3.15 (#111188)

gh-111230: Fix errors checking in _ssl module init (#111232)

Introduce ADD_INT_CONST macro wrapper for PyModule_AddIntConstant()