gh-107431: Make `multiprocessing.managers.{DictProxy,ListProxy}` generic (#107433)

Make `multiprocessing.managers.{DictProxy,ListProxy}` generic for type annotation use.  `ListProxy[str]` for example.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

Remove dead code left after gh-110721 (#111905)

gh-80731: Avoid executing code in except block in cmd (GH-111740)

gh-111789: Simplify the sqlite code (GH-111829)

Use new C API functions PyDict_GetItemRef() and
PyMapping_GetOptionalItemString().

Add private _PyUnicode_AsUTF8NoNUL() function (GH-111957)

Like PyUnicode_AsUTF8(), but check for embedded null characters.

gh-110722: Make `-m test -T -j` use sys.monitoring (GH-111710)

Now all results from worker processes are aggregated and
displayed together as a summary at the end of a regrtest run.

The traditional trace is left in place for use with sequential
in-process test runs but now raises a warning that those
numbers are not precise.

`-T -j` requires `--with-pydebug` as it relies on `-Xpresite=`.

gh-111841: Fix os.putenv() and os.unsetenv() with embedded NUL on Windows (GH-111842)

Bump mypy to 1.7.0 (#111961)

gh-103791: handle `BaseExceptionGroup` in `contextlib.suppress()` (#111910)

gh-111912: Run test_posix on Windows (GH-111913)

gh-108303: Install `Lib/test/configdata` (#111899)

gh-111356: io: Add missing documented objects to io.__all__ (#111370)

Add DEFAULT_BUFFER_SIZE, text_encoding, and IncrementalNewlineDecoder.

gh-111569: Fix critical sections test on WebAssembly (GH-111897)

This adds a macro `Py_CAN_START_THREADS` that corresponds to the Python
function `test.support.threading_helper.can_start_thread()`. WASI and
some Emscripten builds do not have a working pthread implementation.

This macro is used to guard the critical sections C API tests that
require a working threads implementation.

gh-111881: Import _sha2 lazily in random (#111889)

The random module now imports the _sha2 module lazily in the
Random.seed() method for str, bytes and bytearray seeds. It also
imports lazily the warnings module in the _randbelow() method for
classes without getrandbits(). Lazy import makes Python startup
faster and reduces the number of imported modules at startup.

gh-81925: Implement native thread ids for kFreeBSD (#111761)

---------

Co-authored-by: Antoine Pitrou <antoine@python.org>

Improve error message for "float modulo by zero" (#111685)

gh-110875: Handle '.' properties in logging formatter configuration c… (GH-110943)

gh-111895: Convert definition list to bullet list for readability on mobile (#111898)

Convert definition list to bullet list for readability on mobile

gh-111786: Optimize for space for _PyEval_EvalFrameDefault on MSVC for PGO (#111794)

In PGO mode, this function caused a compiler error in MSVC.
It turns out that optimizing for space only save the day, and is even faster.
However, without PGO, this is neither necessary nor slower.

gh-111881: Import doctest lazily in libregrtest (#111884)

In most cases, doctest is not needed. So don't always import it at
startup. The change reduces the number of modules already
imported when a test is run.

Add detail to comment on range of random.random() (gh-111868)

---------

Co-authored-by: Raymond Hettinger <rhettinger@users.noreply.github.com>

gh-108303: Move more files to `Lib/test/test_module` (#111880)

gh-111881: Use lazy import in test.support (#111885)

* Import lazily getpass in test.support
* Only import ctypes on Windows in test.support.os_helper.

gh-108303: Move config parser data to `Lib/test/configparserdata/` (gh-111879)

GH-111843: Tier 2 exponential backoff (GH-111850)

GH-109369: Exit tier 2 if executor is invalid (GH-111657)

gh-111835: Add seekable method to mmap.mmap (gh-111852)

gh-111354: remove comparisons with enum values, variable reuse, unused imports in genobject.c (#111708)

GH-111804: Drop posix.fallocate() under WASI (GH-111869)

Drop posix.fallocate() under WASI.

The underlying POSIX function, posix_fallocate(), was found to vary too
much between implementations to remain in WASI. As such, while it was
available in WASI preview1, it's been dropped in preview2.

gh-111569: Implement Python critical section API (gh-111571)

Critical sections are helpers to replace the global interpreter lock
with finer grained locking.  They provide similar guarantees to the GIL
and avoid the deadlock risk that plain locking involves.  Critical
sections are implicitly ended whenever the GIL would be released.  They
are resumed when the GIL would be acquired.  Nested critical sections
behave as if the sections were interleaved.

gh-110543: Fix CodeType.replace in presence of comprehensions (#110586)

Remove redundant check in dbm.open() (GH-111844)

PyUnicode_FSConverter() already checks for embedded null characters.

gh-111495: Add tests for PyList C API (#111562)

Signed-off-by: kalyanr <kalyan.ben10@live.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-68166: Tkinter: Add tests and examples for element_create() (GH-111453)

* Remove mention of "vsapi" element type from the documentation.
* Add tests for element_create() and other ttk.Style methods.
* Add examples for element_create() in the documentation.

gh-111246: Remove listening Unix socket on close (#111483)

Try to clean up the socket file we create so we don't add unused noise to the file system.

gh-111768: Add `wsgiref.util.is_hop_by_hop` to `__all__` (#111770)

socket: Update generated AC code (#111853)

Glossary: Add "static type checker" (#111837)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-108303: Move more `typing` related files to `Lib/test/typinganndata` (#111825)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-111662: Update socket module to use AC for optimizing performance (gh-111661)

GH-111848: Tidy up tier 2 handling of FOR_ITER specialization by using DEOPT_IF instead of jumps. (GH-111849)

gh-111089: Revert PyUnicode_AsUTF8() changes (#111833)

* Revert "gh-111089: Use PyUnicode_AsUTF8() in Argument Clinic (#111585)"

This reverts commit d9b606b3d04fc56fb0bcc479d7d6c14562edb5e2.

* Revert "gh-111089: Use PyUnicode_AsUTF8() in getargs.c (#111620)"

This reverts commit cde1071b2a72e8261ca66053ef61431b7f3a81fd.

* Revert "gh-111089: PyUnicode_AsUTF8() now raises on embedded NUL (#111091)"

This reverts commit d731579bfb9a497cfb0076cb6b221058a20088fe.

* Revert "gh-111089: Add PyUnicode_AsUTF8() to the limited C API (#111121)"

This reverts commit d8f32be5b6a736dc2fc9dca3f1bf176c82fc9b44.

* Revert "gh-111089: Use PyUnicode_AsUTF8() in sqlite3 (#111122)"

This reverts commit 37e4e20eaa8f27ada926d49e5971fecf0477ad26.

gh-61199: Remove superfluous global statements from `base64._b32{en,de}code()*` (GH-111785)

Minor cleanup after commit 4ce6faa6c9591de6079347eccc9e61ae4e8d9e31

gh-111806: Fix `test_recursion` in `test_richcmp` on WASI builds (GH-111830)

gh-111808: Fix recursion error on WASM in `test_typing` (GH-111819)

gh-81137: deprecate assignment of code object to a function of a mismatched type (#111823)

gh-111623: Add Support for Cross-interpreter tuples (gh-111628)

gh-85098: Implement functional CLI of symtable (#109112)

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>

gh-106672: C API: Report indiscriminately ignored errors (GH-106674)

Functions which indiscriminately ignore all errors now report them as
unraisable errors.

gh-111765: Move old PyFloat_* tests to Lib/test/test_capi/test_float.py  (GH-111766)

GH-111485: Allow arbitrary annotations on instructions and micro-ops. (GH-111697)

gh-79932: raise exception if frame.clear() is called on a suspended frame (#111792)

gh-110395: test: assert after the child dies. (#111816)

based on review from Victor Stinner.  I already made this edit in the 3.12 backport PR.

gh-111729: update generic syntax for `typing.Concatenate` sample code in `Doc/library/typing.rst` (#111734)

use new generic syntax

GH-111485: Make BEFORE_WITH a uop (GH-111812)

gh-76785: Move _Py_excinfo Functions Out of the Internal C-API (gh-111715)

I added _Py_excinfo to the internal API (and added its functions in Python/errors.c) in gh-111530 (9322ce9).  Since then I've had a nagging sense that I should have added the type and functions in its own PR.  While I do plan on using _Py_excinfo outside crossinterp.c very soon (see gh-111572/gh-111573), I'd still feel more comfortable if the _Py_excinfo stuff went in as its own PR.  Hence, here we are.

(FWIW, I may combine that with gh-111572, which I may, in turn, combine with gh-111573.  We'll see.)

gh-111698: Restrict Py_mod_multiple_interpreters to 3.12+ Under Py_LIMITED_API (gh-111707)

This should have been done in gh-104148.

(A similar fix has already be done for that slot's value macros, and backported to 3.12.  See gh-110968.)

simplify code to pop exception in frame_setlineno (#111702)

gh-96954: Use skip_if_missing in test_makeunicodedata (GH-111764)

skip_if_missing in test_makeunicodedata

GH-111772: Specialize slot loads and stores for `_Py_T_OBJECT` (GH-111773)

GH-111646: Simplify optimizer, by compacting uops when making executor. (GH-111647)

gh-101180: Fix a bug where iso2022_jp_3 and iso2022_jp_2004 codecs read out of bounds (gh-111695)

gh-109466: Add ipv6_mapped property to IPv4Address (#109467)

Adds the `IPv4Address.ipv6_mapped` property.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-111495: Add tests for PyComplex C API (GH-111591)

gh-111495: Add tests for PyFloat C API (GH-111624)

gh-111747: DOC: fix moved link to Documentation Translations (#111748)

Update old link in bugs.rst to the table of doc translators and translation repositories at Github.

gh-111719: Add extra check for alias command (#111720)

gh-110395: invalidate open kqueues after fork (#110517)

Invalidate open select.kqueue instances after fork as the fd will be invalid in the child.

gh-80675: Set `f_trace_lines = True` on all frames upon `pdb.set_trace()` (#110881)

gh-96954: use a directed acyclic word graph for storing the unicodedata codepoint names (#97906)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Dennis Sweeney <36520290+sweeneyde@users.noreply.github.com>

GH-110829: Ensure Thread.join() joins the OS thread (#110848)

Joining a thread now ensures the underlying OS thread has exited. This is required for safer fork() in multi-threaded processes.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-111666: Speed up `BaseExceptionGroup.{derive,split,subgroup}` (#111667)

gh-108303: Move `zip` and `tar` archives to `Lib/test/archivetestdata` (#111549)

gh-111159: Fix `SyntaxError` doctests for non-builtin exception classes (#111541)

gh-111495: Test C API functions with extreme sizes and indices (GH-111631)

gh-111724: Fix doctest `ResourceWarning` in `howto/descriptor.rst` (#111725)

Close database connection explicitly in test cleanup.

gh-111644: Fix asyncio test_unhandled_exceptions() (#111713)

Fix test_unhandled_exceptions() of test_asyncio.test_streams: break
explicitly a reference cycle.

Fix also StreamTests.tearDown(): the loop must not be closed
explicitly, but using set_event_loop() which takes care of shutting
down the executor with executor.shutdown(wait=True).
BaseEventLoop.close() calls executor.shutdown(wait=False).

gh-111644: Fix support threading_cleanup() (#111714)

Copy the list of dangling threads to make sure that the list of
"Dangling thread" is complete. Previously, the list was incomplete if
threads completed just before the list was displayed.

Changes:

* Rewrite the warning to make it easier to understand.
* Use support.sleeping_retry().
* threading_cleanup() no longer copies threading._dangling,
  but only counts the number of dangling thread.
* Remove support.gc_support() call.

gh-109649: Fix test_os.test_process_cpu_count_affinity() (#111689)

When CPUs are isolated on Linux, os.process_cpu_count() is smaller
than os.cpu_count(). Fix the test for this case.

Example with "isolcpus=5,11 rcu_nocbs=5,11" options passed to a Linux
command line to isolated two logical CPUs:

$ ./python -c 'import os; print(os.process_cpu_count(), "/", os.cpu_count())'
10 / 12

Add a fuzz target for `_elementtree.XMLParser._parse_whole` (#111477)

* Add a fuzzer for `_elementtree.XMLParser._parse_whole`

gh-111684: Avoid a Compiler Warning (gh-111706)

gh-111506: Implement Py_SET_REFCNT() as opaque function in limited C API (#111508)

In the limited C API version 3.13, Py_SET_REFCNT() function is now
implemented as an opaque function call.

Add _Py_SetRefcnt() to the stable ABI.

gh-103615: Use local events for opcode tracing (GH-109472)

* Use local monitoring for opcode trace

* Remove f_opcode_trace_set

* Add test for setting f_trace_opcodes after settrace

gh-111652: Fix --enable-pystats build (GH-111653)

CI: Make macOS Intel required to succeed (GH-110362)

docs: specify that PyBytes_AsStringAndSize returns 0 on success (GH-110888)

docs: specify return value on success

gh-111681: minor fixes to typing doctests; remove unused imports in `test_typing` (#111682)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-106168: Revert the "size before item" setting (#111683)

gh-106168: Update the size only after setting the item, to avoid temporary inconsistencies.
Also remove the "what's new" sentence regarding the size setting since tuples cannot grow after allocation.

gh-111354: Simplify _PyGen_yf by moving some of its work to the compiler and frame state (#111648)

gh-90026: support XATTRs on Cygwin (GH-105075)

gh-111490: Make the exception type check in test_pyexpat more specific (GH-111491)

gh-108082: Remove _PyErr_WriteUnraisableMsg() (GH-111643)

Replace the remaining calls with PyErr_FormatUnraisable().

gh-54434: Make difflib.rst doctests pass. (#111677)

gh-111654: remove redundant decref in LOAD_FROM_DICT_OR_DEREF (#111655)

gh-76785: Minor Fixes in crossinterp.c (gh-111671)

There were a few corner cases I didn't handle properly in gh-111530, which I've noticed while working on a follow-up PR.  This fixes those cases.

Fix typo in documentation of `SysLogHandler.createSocket` (#111665)

gh-111663: Restore the Tier 2 uop count pystats (#111664)

gh-110892: Return NULL for `PyTrace_RETURN` events caused by an exception (GH-110909)

GH-109369 Add vectorcall to `PyLong_Type` (GH-111642)

gh-111482: Use Argument Clinic for clock_gettime() (#111641)

Use Argument Clinic for time.clock_gettime() and
time.clock_gettime_ns() functions.

Benchmark on time.clock_gettime_ns():

    import time
    import pyperf
    runner = pyperf.Runner()
    runner.timeit(
        'clock_gettime_ns(CLOCK_MONOTONIC_COARSE)',
        setup='import time; clock_gettime_ns=time.clock_gettime_ns; CLOCK_MONOTONIC_COARSE=6',
        stmt='clock_gettime_ns(CLOCK_MONOTONIC_COARSE)')

Result on Linux with CPU isolation:

Mean +- std dev: [ref] 134 ns +- 1 ns -> [change] 55.7 ns +- 1.4 ns: 2.41x faster