gh-116396: Pass "detached_state" argument to tstate_set_detached (#116398)

The stop-the-world code was incorrectly setting suspended threads'
states to _Py_THREAD_DETACHED instead of _Py_THREAD_SUSPENDED.

gh-116417: Add _testlimitedcapi C extension (#116419)

Add a new C extension "_testlimitedcapi" which is only built with the
limited C API.

Move heaptype_relative.c and vectorcall_limited.c from
Modules/_testcapi/ to Modules/_testlimitedcapi/.

* configure: add _testlimitedcapi test extension.
* Update generate_stdlib_module_names.py.
* Update make check-c-globals.

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-106259: Add minimal help target to Makefile (#106260)

Co-authored-by: Erlend E. Aasland <erlend@python.org>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-116381: Remove bad specializations, add fail stats (GH-116464)

* Remove bad specializations, add fail stats

gh-116420: Fix unused var compilation warnings (GH-116466)

Fix unused var compilation warnings

Parallelize regen-cases (#116446)

This makes a huge difference when using `make -j regen-cases`.

gh-115421: Test that our Makefile has all needed test folders (GH-115813)

gh-116437: Use new C API PyDict_Pop() to simplify the code (GH-116438)

gh-116448: Handle errors correctly in `os_waitid_impl` in `posixmodule` (#116449)

gh-115664: Fix ordering of more versionadded and versionchanged directives (GH-116298)

gh-116386: Fix format string "%ld" warning in `_xxinterpqueuesmodule` (#116387)

gh-114099 - Add iOS testbed, plus Makefile target to invoke it. (gh-115930)

GH-116314: Update `Tools/wasm/README.md` to point to the devguide for building for WASI (GH-116445)

gh-116397: Move the _PyGC_ClearAllFreeLists to the safe point (gh-116414)

gh-109653: Reduce import overhead of uuid module on Linux (#115160)

This follows in the footsteps of #21586
This speeds up import uuid by about 6ms on Linux.

Before:
```
λ hyperfine -w 4 "./python -c 'import uuid'"
Benchmark 1: ./python -c 'import uuid'
  Time (mean ± σ):      20.4 ms ±   0.4 ms    [User: 16.7 ms, System: 3.8 ms]
  Range (min … max):    19.6 ms …  21.8 ms    136 runs
```
After:
```
λ hyperfine -w 4 "./python -c 'import uuid'"
Benchmark 1: ./python -c 'import uuid'
  Time (mean ± σ):      14.5 ms ±   0.3 ms    [User: 11.5 ms, System: 3.2 ms]
  Range (min … max):    13.9 ms …  16.0 ms    175 runs
```

gh-107361: strengthen default SSL context flags (#112389)

This adds `VERIFY_X509_STRICT` to make the default
SSL context perform stricter (per RFC 5280) validation, as well
as `VERIFY_X509_PARTIAL_CHAIN` to enforce more standards-compliant
path-building behavior.

As part of this changeset, I had to tweak `make_ssl_certs.py`
slightly to emit 5280-conforming CA certs. This changeset includes
the regenerated certificates after that change.

Signed-off-by: William Woodruff <william@yossarian.net>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-88118: Fix some test_multiprocessing flakiness. (#116434)

Fix some test_multiprocessing flakiness.

Potentially introduced by https://github.com/python/cpython/pull/25845

not joining that thread likely leads to recently observed "environment
changed" logically passing but overall failing tests seen on some
buildbots similar to:

```
1 test altered the execution environment (env changed):
    test.test_multiprocessing_fork.test_processes

2 re-run tests:
    test.test_multiprocessing_fork.test_processes
    test.test_multiprocessing_forkserver.test_processes
```

gh-114271: Make `_thread.lock` thread-safe in free-threaded builds (#116433)

Previously, the `locked` field was set after releasing the lock. This reverses
the order so that the `locked` field is set while the lock is still held.

There is still one thread-safety issue where `locked` is checked prior to
releasing the lock, however, in practice that will only be an issue when
unlocking the lock is contended, which should be rare.

gh-115957: Close coroutine if TaskGroup.create_task() raises an error (#116009)

gh-116381: Specialize CONTAINS_OP (GH-116385)

* Specialize CONTAINS_OP

* 📜🤖 Added by blurb_it.

* Add PyAPI_FUNC for JIT

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-115398: Suggest use of `hasattr` with checking for 3.13 Expat API availability (GH-116278)

Suggest use of "hasattr" with checking for 3.13 Expat API availability

gh-115398: Revert `PyExpat_CAPI_MAGIC` version bump (GH-116411)

Revert "gh-115398: Increment PyExpat_CAPI_MAGIC for SetReparseDeferralEnabled addition (GH-116301)"

This reverts part of commit eda2963378a3c292cf6bb202bb00e94e46ee6d90.  Why? this comment buried in an earlier code review explains:

I checked again how that value is used in practice, it's here:

https://github.com/python/cpython/blob/0c80da4c14d904a367968955544dd6ae58c8101c/Modules/_elementtree.c#L4363-L4372

Based on that code my understanding is that loading bigger structs from the future is considered okay unless `PyExpat_CAPI_MAGIC` differs, which implies that (1) magic needs to stay the same to support loading the future from the past and (2) that `PyExpat_CAPI_MAGIC` should only ever change for changes that do not increase size (but keep it constant).

To summarize, that supports your argument.
I checked branches 3.8, 3.9, 3.10, 3.11, 3.12 now and they all have the same comparison code there so reverting that magic string bump will support seamless backporting.

gh-115103: Delay reuse of mimalloc pages that store PyObjects (#115435)

This implements the delayed reuse of mimalloc pages that contain Python
objects in the free-threaded build.

Allocations of the same size class are grouped in data structures called
pages. These are different from operating system pages. For thread-safety, we
want to ensure that memory used to store PyObjects remains valid as long as
there may be concurrent lock-free readers; we want to delay using it for
other size classes, in other heaps, or returning it to the operating system.

When a mimalloc page becomes empty, instead of immediately freeing it, we tag
it with a QSBR goal and insert it into a per-thread state linked list of
pages to be freed. When mimalloc needs a fresh page, we process the queue and
free any still empty pages that are now deemed safe to be freed. Pages
waiting to be freed are still available for allocations of the same size
class and allocating from a page prevent it from being freed. There is
additional logic to handle abandoned pages when threads exit.

gh-116143: Fix race condition in pydoc _start_server (#116144)

gh-107625: configparser: Raise error if a missing value is continued (GH-107651)

Co-authored-by: Éric <merwok@netwok.org>
Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Jason R. Coombs <jaraco@jaraco.com>

GH-113710: Tier 2 optimizer: check the function instead of checking globals. (GH-116410)

GH-115687: Most comparisons create Booleans, so propagate that information (GH-116360)

Most comparisons create booleans

gh-107954: Add PyConfig_MEMBER_BOOL type to PyConfigSpec (#116359)

_PyConfig_AsDict() now returns bool objects for options using the new
PyConfig_MEMBER_BOOL type.

Update tests for these changes.

gh-116404: Handle errors correctly in `wait_helper` in `posixmodule` (#116405)

gh-112087: Update list_get_item_ref to optimistically avoid locking (gh-116353)

Co-authored-by: Sam Gross <colesbury@gmail.com>

gh-116112: Fix `ResourceWarning` in `test_asyncio.test_stream` (#116371)

Co-authored-by: @CendioOssman

gh-115986: Fix inaccuracies in pprint docs (#116104)

Amend wording after gh-116019 was merged.

gh-115103: Enable internal mimalloc assertions in debug builds (#116343)

This sets `MI_DEBUG` to `2` in debug builds to enable `mi_assert_internal()`
calls. Expensive internal assertions are not enabled.

This also disables an assertion in free-threaded builds that would be
triggered by the free-threaded GC because we traverse heaps that are not
owned by the current thread.

gh-76785: Use PRId64 to Fix a Compiler Warning on Windows (gh-116369)

I accidentally introduced the warning in gh-116328.

gh-109653: Just import `recursive_repr` in `dataclasses` (gh-109822)

Fix debug output for optimized executor (#116337)

This adjusts `length` rather than using `length+1`
all over the place.

chore: fix typos (#116345)

Signed-off-by: cui fliter <imcusg@gmail.com>

gh-76785: Minor Improvements to "interpreters" Module (gh-116328)

This includes adding pickle support to various classes, and small changes to improve the maintainability of the low-level _xxinterpqueues module.

gh-74668: Fix support of bytes in urllib.parse.parse_qsl() (GH-115771)

urllib.parse functions parse_qs() and parse_qsl() now support bytes
arguments containing raw and percent-encoded non-ASCII data.

gh-76511: Fix email.Message.as_string() for non-ASCII message with ASCII charset (GH-116125)

Fix the PyGetSetDef documentation (GH-116056)

closure is not a function pointer, it is a user data pointer.

gh-115777: Fix double versionadded directives (GH-116269)

GH-115685: Split `_TO_BOOL_ALWAYS_TRUE` into micro-ops (GH-116352)

GH-115819: Eliminate Boolean guards when value is known (GH-116355)

gh-116326: Handler errors correctly in `getwindowsversion` in `sysmodule` (#116339)

GH-115685: Optimize `TO_BOOL` and variants based on truthiness of input. (GH-116311)

gh-116325: Raise `SyntaxError` rather than `IndexError` on ForwardRef with empty string arg (#116341)

gh-112075: Enable freeing with qsbr and fallback to lock on key changed (GH-116336)

GH-116313: get WASI builds to run under wasmtime 18 w/ WASI 0.2/preview2 primitives (#116327)

* GH-116313: get WASI builds to run under wasmtime 18 w/ WASI 0.2/preview2 primitives

* Add the configure changes

* Update `wasm_build.py`

gh-112087: Make list_{slice, ass_slice, subscript} to be threadsafe (gh-116233)

gh-116029: Fix unused function warning on macOS (#116340)

gh-116265: Remove obsolete sentence. (#116284)

Remove sentence in Tools/c-analyzer/README referring to deleted
ignore-globals.txt.

gh-115490: Make the interpreter.channels and interpreter.queues Modules Handle Reloading Properly (gh-115493)

The problem manifested when the .py module got reloaded and the corresponding extension module didn't. The .py module registers types with the extension and the extension was not allowing that to happen more than once. The solution: let it happen more than once.

gh-115320: Refactor `get_hash_info` in `sysmodule.c` not to swallow errors (#115321)

gh-76785: Simplify Channels XID Types (gh-116318)

I had added an extra cleanup abstraction a while back that has turned out to be unnecessary.

GH-116134: JIT aarch64-pc-windows-msvc (GH-116130)

GH-115802: Don't JIT zero-length jumps (GH-116177)

gh-116316: Fix typo in `UNARY_FUNC(PyNumber_Positive)` macros (GH-116317)

gh-57141: Add dircmp shallow option (GH-109499)

Co-authored-by: Steve Ward <planet36@gmail.com>
Co-authored-by: Sanyam Khurana <8039608+CuriousLearner@users.noreply.github.com>

gh-108562: Revert enabling -fstrict-overflow for libmpdec (GH-116302)

gh-108562: partial reversion of pr114751

Reverts -fstrict-overflow for libmpdec

gh-116116: Backport blake2 change to fix building with clang-cl on windows-i686 (GH-116117)

gh-115832: Fix instrumentation version mismatch during interpreter shutdown (#115856)

A previous commit introduced a bug to `interpreter_clear()`: it set
`interp->ceval.instrumentation_version` to 0, without making the corresponding
change to `tstate->eval_breaker` (which holds a thread-local copy of the
version). After this happens, Python code can still run due to object finalizers
during a GC, and the version check in bytecodes.c will see a different result
than the one in instrumentation.c causing an infinite loop.

The fix itself is straightforward: clear `tstate->eval_breaker` when clearing
`interp->ceval.instrumentation_version`.

Consistently spell out *predicate* instead of *pred*. (gh-116308)

gh-115256: Remove refcycles from tarfile writing (GH-115257)

gh-114258: Argument Clinic: refactor getset implementation (#116170)

* Move param guard to param state machine
* Override return converter during parsing
* Don't use a custom type slot return converter; instead
  special case type slot functions during generation.

GH-116271 Docs: provide clarification for object assignments in the Tutorial section (#116283)

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-115398: Increment PyExpat_CAPI_MAGIC for SetReparseDeferralEnabled addition (GH-116301)

* Increment PyExpat_CAPI_MAGIC due to SetReparseDeferralEnabled addition.

This is a followup to git commit
6a95676bb526261434dd068d6c49927c44d24a9b from Github PR #115623.

* RESTify news API list.

gh-116296: Fix refleak in reduce_newobj() corner case (#116297)

Co-authored-by: Brandt Bucher <brandtbucher@microsoft.com>

pathlib ABCs: follow all symlinks in `PathBase.glob()` (#116293)

Switch the default value of *follow_symlinks* from `None` to `True` in
`pathlib._abc.PathBase.glob()` and `rglob()`. This speeds up recursive
globbing.

No change to the public pathlib classes.

gh-116010: Remove link to deprecated PEP 6 in FAQ guide (#116246)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-116281: Remove wrong '\' from '\*' in some doc signatures (#116282)

Docs: update using/configure.rst (#116274)

gh-115809: Improve TimedRotatingFileHandler.getFilesToDelete() (GH-115812)

Improve algorithm for computing which rolled-over log files to delete
in logging.TimedRotatingFileHandler. It is now reliable for handlers
without namer and with arbitrary deterministic namer that leaves
the datetime part in the file name unmodified.

gh-108562: Fix compiler warnings for libmpdec (#114751)

If awailable, enable -fstrict-overflow for libmpdec. Also
shut off false positive warnings (-Warray-bounds).

The later was backported from mpdecimal-4.0.0.

gh-72971: Clarify the special no-TypeError behavior for equality (#110729)

gh-115103: Update gc.collect to process delayed objects (gh-116251)

* Revert "gh-115103: Update refleak checker to trigger _PyMem_ProcessDelayed (gh-116238)"

This reverts commit 2e91578a76d38fa8895fce95e2661618c3de892c.

* gh-115103: Update gc.collect to process delayed objects

gh-115103: Update refleak checker to trigger _PyMem_ProcessDelayed (gh-116238)

gh-85644: webbrowser: Use $XDG_CURRENT_DESKTOP to check desktop (GH-21731)

Usage of $GNOME_DESKTOP_SESSION_ID env variable is deprecated since
GNOME 3.30.0 [1], so should not be used, while the standard
XDG_CURRENT_DESKTOP should be instead preferred.

[1] https://gitlab.gnome.org/GNOME/gnome-session/-/commit/00e0e6226371d53f65

GH-115978: Disable `*readv()` and `*writev()` on WASI (GH-116228)

Wasmtime doesn't implement these functions in a way to pass test_posix (https://github.com/bytecodealliance/wasmtime/issues/7830).

gh-116102: Silence a Compiler Warning in _xxinterpqueues (gh-116230)

gh-112087: Use QSBR technique for list_new/clear for free-thread build (gh-115875)

GH-116226: include `pthread_stubs.h` in `pycore_pythreads.h` (#116227)

gh-114271: Make `_thread.ThreadHandle` thread-safe in free-threaded builds (GH-115190)

Make `_thread.ThreadHandle` thread-safe in free-threaded builds

We protect the mutable state of `ThreadHandle` using a `_PyOnceFlag`.
Concurrent operations (i.e. `join` or `detach`) on `ThreadHandle` block
until it is their turn to execute or an earlier operation succeeds.
Once an operation has been applied successfully all future operations
complete immediately.

The `join()` method is now idempotent. It may be called multiple times
but the underlying OS thread will only be joined once. After `join()`
succeeds, any future calls to `join()` will succeed immediately.

The internal thread handle `detach()` method has been removed.

gh-115941: fixes in dictobject.c doc block(#116196)

gh-115480: Type propagate _BINARY_OP_ADD_UNICODE (GH-115710)

gh-84995: Run sys.__interactivehook__() on asyncio REPL startup (#20517)

This makes the asyncio REPL (`python -m asyncio`) more usable
and similar to the regular REPL.

This exposes register_readline() as a top-level function in site.py,
but it's intentionally undocumented.

Co-authored-by: Carol Willing <carolcode@willingconsulting.com>
Co-authored-by: Itamar Oren <itamarost@gmail.com>

gh-115773: Add missing preprocessor guard in _testexternalinspection (#116212)

Add missing preprocessor guard in _testexternalinspection

gh-116171: Argument Clinic: disallow overriding return converter for __init__ methods (#116172)

gh-115806: Don't mangle output of configure 'ipv6 stack type' check (#116165)

gh-104711: Add security warning to the CGIHTTPRequestHandler document (GH-115915)

gh-116035: Document that both tzinfo and fold are ignored in comparisons if tzinfo is the same (GH-116187)

This mostly restores information removed in c12240ed28aac6494750e00143bc550c4d6d8ad1 (GH-114749).

gh-76785: Fix interpreters.Queue.get_nowait() (gh-116166)

I missed this change in gh-115566.

gh-112281: Allow `Union` with unhashable `Annotated` metadata (#112283)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104219: Document that idunders can return NotImplemented (#104220)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-88352: Fix logging.TimedRotatingFileHandler (GH-116191)

* Do not overwrite already rolled over files. It happened at midnight or
  during the DST change and caused the loss of data.
* computeRollover() now always return the timestamp larger than the
  specified time.
* Fix computation of the rollover time during the DST change.

gh-115554: Improved logic for handling multiple existing py.exe launcher installs (GH-115793)

gh-101293: Fix support of custom callables and types in inspect.Signature.from_callable() (GH-115530)

Support callables with the __call__() method and types with
__new__() and __init__() methods set to class methods, static
methods, bound methods, partial functions, and other types of
methods and descriptors.

Add tests for numerous types of callables and descriptors.

build(deps-dev): bump types-setuptools from 69.0.0.20240125 to 69.1.0.20240301 in /Tools (#116190)

Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

gh-116159: argparse: performance improvement parsing large number of options (#116162)

When parsing positional vs optional arguments, the use of min with a
list comprehension inside of a loop results in quadratic time based
on the number of optional arguments given. When combined with use of
prefix based argument files and a large number of optional flags, this
can result in extremely slow parsing behavior.

This replaces the min call with a simple loop with a short circuit to
break at the next optional argument.

Co-authored-by: Zsolt Dollenstein <zsol.zsol@gmail.com>

build(deps): bump hypothesis from 6.97.4 to 6.98.15 in /Tools (#116189)

Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>