gh-131670: Fix crash in `anext()` when `__anext__` is sync and raises (#131682)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-111178: Fix function signature in pyexpat.c (#131674)

Move _Py_NO_SANITIZE_UNDEFINED macro from faulthandler.c to pyport.h.

GH-131521: Uses correct build flags for zlib-ng on Windows (GH-131526)

Do not enable AdvancedVectorExtensions2 for all *.c files, so that the resulting binary can be executed on older CPUs, too. Also enable AdvancedVectorExtensions512 where necessary, and add the ClangCL flags required to enable vector extensions.

gh-111178: fix UBSan for example code in `extending/newtypes_tutorial` docs (GH-131606)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

GH-128520: pathlib ABCs: tighten up argument types (#131621)

In `JoinablePath.full_match()` and `ReadablePath.glob()`, accept a `str`
pattern argument rather than `JoinablePath | str`.

In `ReadablePath.copy()` and `copy_into()`, accept a `WritablePath` target
argument rather than `WritablePath | str`.

gh-115684: Clarify datetime `replace` documentation (#116519)

* Clarify datetime `replace` documentation

In #115684, HopedForLuck noted that `datetime.date.replace()`
documentation was confusing because it looked like it would be changing
immutable objects.

This documentation change specifies that the `replace()` methods in
`datetime` return new objects. This uses similar wording to the
documentation for `datetime.combine()`, which specifies that a new
datetime is returned. This is also similar to wording for
`string.replace()`, except `string.replace()` emphasizes that a "copy"
is returned.

Resolves #115684.

* Include reviewer comments

Thanks Privat33r-dev for the comments!

---------

Co-authored-by: Paul Ganssle <1377457+pganssle@users.noreply.github.com>

GH-128520: pathlib ABCs: validate `magic_open()` arguments (#131617)

When `pathlib._os.magic_open()` is called to open a path in binary mode,
raise `ValueError` if any of the *encoding*, *errors* or *newline*
arguments are given. This matches the `open()` built-in.

GH-128520: pathlib ABCs: reject empty pattern in `ReadablePath.glob()` (#127343)

For compatibility with `Path.glob()`, raise `ValueError` if an empty
pattern is given to `ReadablePath.glob()`.

GH-131296: Remove unused variable from _wmimodule.cpp (GH-131587)

gh-111178: Fix function signatures for test_socket (#131667)

Add unicode_fsdecode() wrapper for PyUnicode_DecodeFSDefault() to use
the correct API for Py_BuildValue() converter API.

gh-111178: fix UBSan failures for `anextawaitableobject` (#131609)

gh-111178: Skip tests which require deep stack if UBsan (#131669)

If Python is built with Undefined Behavior sanitizer, skip
test_repr_deep() of test_userdict and test_lru_recursion() of
test_functools.

gh-111178: Fix function signatures for test_capi (#131659)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-111178: Fix function signature for test_threading (#131663)

gh-128421: Avoid TSAN warnings in `sys._current_frames()` (gh-131548)

This tells TSAN not to sanitize `PyUnstable_InterpreterFrame_GetLine()`.
There's a possible data race on the access to the frame's `instr_ptr`
if the frame is currently executing. We don't really care about the
race. In theory, we could use relaxed atomics for every access to
`instr_ptr`, but that would create more code churn and current compilers
are overly conservative with optimizations around relaxed atomic
accesses.

We also don't sanitize `_PyFrame_IsIncomplete()` because it accesses
`instr_ptr` and is called from assertions within PyFrame_GetCode().

gh-111178: Fix function signatures for test_zoneinfo (#131664)

gh-111178: Fix function signatures for test_ctypes (#131660)

gh-128715: Expose ctypes.CField, with info attributes (GH-128950)

- Restore max field size to sys.maxsize, as in Python 3.13 & below
- PyCField: Split out bit/byte sizes/offsets.
- Expose CField's size/offset data to Python code
- Add generic checks for all the test structs/unions, using the newly exposed attrs

gh-131311: Extract _replace_array_elements from PyCStructUnionType_update_stginfo (GH-131504)

gh-128485: ensure that dlmalloc initializes itself at import time in ctypes  (#131633)

gh-131311: Fix additional memory leaks in ctypes (GH-131429)

* Visit keep in StructParam_traverse
* Decref swapped in PyCSimpleType_init
* Decref ob in make_funcptrtype_dict
* Check Pointer_item result while constructing result list in Pointer_subscript

* Fix align and size naming in PyCStructUnionType_update_stginfo
  - as discussed in previous PR

gh-131645: fix ResourceWarnings in `test_asyncio.test_events` (#131646)

gh-123909: Remove obsolete note in PyType_FromMetaclass docs (GH-131506)

Docs of the other `PyType_From*` functions link to `PyType_FromMetaclass`,
which noted that they differ for backwards compatibility reasons.
The note is no longer relevant in 3.14.
The other functions have `versionchanged` blurbs.

gh-111178: fix UBSan failures for `Modules/_testcapimodule.c` (#131614)

Fix UBSan failures for various classes in `Modules/_testcapimodule.c`,
remove some redundant casts and add some `Py_UNUSED()` usages.

gh-111178: fix UBSan failures for `Modules/_testcapi/{buffer,monitoring}.c` (#131613)

gh-111178: fix UBSan failures for `PyBytesObject` (#131603)

gh-111178: fix UBSan failures for `Python/legacy_tracing.c` (#131611)

gh-111178: fix UBSan failures for `Modules/_testmultiphase.c` (#131615)

gh-111178: fix UBSan failures for `Python/instrumentation.c` (#131608)

gh-111178: fix UBSan failures for `PyStdPrinter_Object` (#131607)

gh-111178: fix UBSan failures for `_PyExecutorObject` (#131610)

gh-111178: fix UBSan failures for `PyBufferWrapper` (#131616)

gh-111178: fix UBSan failures for `Modules/_testbuffer.c` (#131612)

gh-111178: fix UBSan failures for `TaskStepMethWrapper` (#131602)

no-issue: Fix typo in importlib.metadata.rst (gh-131596)

gh-130080: do not fold match case constants in unoptimized AST (#131577)

gh-130283: update deprecated links and examples in `urllib.request` docs (#130284)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-121529: Document `from_` parameter in `_mboxMMDF` public methods (#121530)

gh-131418: remove unused legacy typedefs in `{md5,sha1}module.c` (#131420)

- Remove legacy typedefs `MD5_INT32` and `MD5_INT64` in `Modules/md5module.c`
- Remove legacy typedefs `SHA1_INT32` and `SHA1_INT64` in `Modules/sha1module.c`.

Those legacy typedefs were used to detect whether the host platform could
correctly implement MD5 and SHA-1, but this is no longer needed as we now
fallback to HACL* implementations.

gh-131357: Add a set of asserts to test.test_capi.test_bytearray (#131554)

add a set of asserts to test.test_capi.test_bytearray

1. Assert empty bytearray object for PyByteArray_Check.
2. Assert empty bytearray object for PyByteArray_CheckExact.
3. Assert 0-size bytearray object for PyByteArray_Size.
4. Assert empty bytearray object for PyByteArray_AsString.
5. Assert concatenation of the bytearray object with itself for PyByteArray_Concat.

GH-131296: fix clang-cl warning on Windows in semaphore.c (GH-131595)

fix clangcl warning

gh-131566: Skip `test_tracemalloc_track_race` under TSAN (gh-131567)

The test has data race when setting the global "raw" memory allocator.

gh-131296: fix clang-cl warning in tracemalloc.c (#131514)

Always set MAX_NFRAME to UINT16_MAX.

Avoid the complicated code which emitted a compiler warning.

gh-131457: Fix typo in BNF description of function signatures (#131460)

gh-131238: Add missing pycore_function.h includes for JIT compiler (#131571)

gh-130312: SET_ADD should not lock (#130136)

SET_ADD should not lock

gh-131238: Move _Py_VISIT_STACKREF() to pycore_stackref.h (#131560)

* Move _Py_VISIT_STACKREF() from pycore_gc.h to pycore_stackref.h.
* Remove pycore_interpframe.h include from pycore_genobject.h.
* Remove now useless includes from C files.
* Add pycore_interpframe_structs.h to Makefile.pre.in and
  pythoncore.vcxproj.

GH-128520: pathlib ABCs: allow tests to be run externally (#131315)

Adjust the tests for the `pathlib.types` module so that they can be run
against the `pathlib-abc` PyPI package, which is a backport of the module
for older Python versions.

Specifically, we add a `.support.is_pypi` switch that is false in the
stdlib and true in the pathlib-abc package. This controls which package
we import, and whether or not we run tests against `PurePath` and `Path`.

For compatibility with older Python versions, we stop using
`zipfile.ZipFile.mkdir()` and `zipfile.ZipInfo._for_archive()`.

gh-117657: Skip some tests when running with TSAN (gh-131555)

The subinterpreter tests have data races (see gh-129824).

TSAN attempts to intercept some of the fatal signals, which can lead to
bogus reports. We could possibly handle these via TSAN_OPTIONS, but it's
simpler to just skip those tests -- they're not multithreaded anyways.

GH-130415: Optimize constant comparison in JIT builds (GH-131489)

gh-117657: Fix TSAN data race in _PyEval_SetTrace assertion (gh-131561)

The `sys_tracing_threads` variable should be read inside `LOCK_SETUP()`.

gh-131233: remove return-in-finally in multiprocessing/connection.py (#131416)

gh-131507: Refactor screen and cursor position calculations (GH-131547)

This is based off #131509.

gh-131238: Add pycore_interpframe_structs.h header (#131553)

Add an explicit include to pycore_interpframe_structs.h in
pycore_runtime_structs.h to fix a dependency cycle.

gh-131238: Remove pycore_object_deferred.h from pycore_object.h (#131549)

Remove also pycore_function.h from pycore_typeobject.h.

gh-131238: Add pycore_interpframe.h to PYTHON_HEADERS (#131545)

Add pycore_interpframe.h to Makefile.pre.in and pythoncore.vcxproj.

gh-128421: Add locking to most frame object functions (gh-131479)

This makes more operations on frame objects thread-safe in the free
threaded build, which fixes some data races that occurred when passing
exceptions between threads.

However, accessing local variables from another thread while its running
is still not thread-safe and may crash the interpreter.

gh-131507: Clean up tests and type checking for `_pyrepl` (#131509)

GH-131513: Cases generator: Allow dead inputs to be reassigned (GH-131515)

gh-131268: Implement thread names on OpenBSD (#131528)

gh-70647: Raise a more informative error for when date is out of range (GH-131335)

More informative error messages mean less debugging what went wrong.

gh-120144: Disable the CALL event when possible to achieve zero overhead pdb (#131390)

GH-131331: Rename "not" to "invert" (GH-131334)

gh-131269: Minor optimization in random.py (#131270)

gh-131435: random.randint optimization (gh-131436)

gh-131492, gh-131461: handle exceptions in GzipFile constructor while owning resources (#131462)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-88887: Cleanup `multiprocessing.resource_tracker.ResourceTracker` upon deletion (#130429)

Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-131453: Add additional constants to winsound module (GH-131454)

GH-131296: fix clang-cl warnings in sysmodule.c (#131304)

gh-130080: fix warnings in tests (#131471)

GH-127705: Don't call _Py_ForgetReference before _Py_Dealloc (GH-131508)

GH-131498: Remove conditional stack effects (GH-131499)

* Adds some missing #includes

gh-127833: Use `productionlist` nodes to implement the `grammar-snippet` directive (#130376)

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Blaise Pabon <blaise@gmail.com>

gh-127989: C API: Refer to "attached thread states" instead of the GIL (GH-127990)

Co-authored-by: Victor Stinner <vstinner@python.org>

GH-130296: Remove `_PyOpcode_max_stack_effect` as it is no longer used (GH-131493)

gh-131238: Remove includes from pycore_interp.h (#131495)

Remove also now unused includes in C files.

gh-111178: Fix function signatures for multiple tests (#131496)

Fix Windows build warnings (#131487)

Fix the following warnings:

* Modules\_io\fileio.c(1296,13): unused variable 'self'
* Modules\_io\winconsoleio.c(334,9): unused variable 'fd_is_own'
* Modules\faulthandler.c(409,11): unused variable 'flags'
* Modules\posixmodule.c(5699,9): unused variable 'pathError'
* PC\winreg.c(2077,5): suggest braces around initialization of
  subobject
* PC\winreg.c(34,13): unused variable 'errNotAHandle'
* Python\fileutils.c(132,12): result of comparison of constant
  1114111 with expression of type 'wchar_t' (aka 'unsigned short') is
  always false
* Python\fileutils.c(58,21): unused variable 'INCOMPLETE_CHARACTER'
* Python\sysmodule.c(2534,21): unused variable 'perf_map_state'

gh-131441: Add a set of asserts to test.test_capi.test_list (#131442)

gh-128421: add critical section around `traceback.tb_next` (#131322)

gh-131401: fix data races in exception handling (#131447)

GH-123599: Deprecate duplicate `pathname2url()` implementation (#127380)

Call `urllib.request.pathname2url()` from `pathlib.Path.as_uri()`, and
deprecate the duplicate implementation in `PurePath`.

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-131238: Cleanup pycore_runtime.h includes (#131486)

gh-131238: Remove pycore_lock.h includes (#131483)

PyMutex type is now part of <Python.h>, it's no longer needed to
include <pycore_lock.h> to get it.

gh-131238: Move pycore_obmalloc.h include to pycore_runtime_structs.h (#131482)

Move pycore_obmalloc.h include from pycore_interp_structs.h to
pycore_runtime_structs.h.

Add also comment explaining the purpose of each include in
pycore_interp_structs.h, pycore_runtime_structs.h and
pycore_structs.h.

Remove <stdbool.h> and <stddef.h> from pycore_structs.h.

gh-131238: Use pycore_interp_structs.h header (#131481)

Replace pycore_runtime_structs.h include with pycore_interp_structs.h
include in internal headers.

gh-129598: ast: allow multi stmts for ast single with ';' (#129620)

gh-131238: Remove more includes from pycore_interp.h (#131480)

GH-123599: Remove duplicate `url2pathname()` implementation (#127237)

Call `urllib.request.url2pathname()` from `pathlib.Path.from_uri()` rather
than re-implementing it. This paves the way for solving the main issue
(ignoring local authorities and rejecting non-local ones) in urllib, not
pathlib.

gh-126835: Move constant tuple folding from ast_opt to CFG (#130769)

GH-131473: Add missing %(AdditionalOptions) reference to pythoncore.vcxproj (GH-131475)

GH-125866: Deprecate `nturl2path` module (#131432)

Deprecate the `nturl2path` module. Its functionality is merged into
`urllib.request`.

Add `tests.test_nturl2path` to exercise `nturl2path`, as it's no longer
covered by `test_urllib`.

GH-130956: Only emit AArch64 trampolines for long jumps (GH-131041)

gh-91349: Replace zlib with zlib-ng in Windows build (GH-131438)

GH-121970: Extract `pydoc_topics` into a new extension (#131256)

gh-131238: Remove many includes from pycore_interp.h (#131472)

gh-131117: Update tp_finalize example to use PyErr_GetRaisedException (#131118)

The tp_finalize C API doc used PyErr_Fetch() and PyErr_Restore() in
its example code. That API was deprecated in 3.12.

Update to point to the suggested replacement function
PyErr_GetRaisedException() which has a sample usage.

gh-130931: Add pycore_interpframe.h internal header (#131249)

Move _PyInterpreterFrame and associated functions
to a new pycore_interpframe.h header.

gh-90548: Make musl test skips smarter (fixes Alpine errors) (#131313)

* Make musl test skips smarter (fixes Alpine errors)

A relatively small number of tests fail when the underlying c library is
provided by musl.  This was originally reported in bpo-46390 by
Christian Heimes.  Among other changes, these tests were marked for
skipping in gh-31947/ef1327e3 as part of bpo-40280 (emscripten support),
but the skips were conditioned on the *platform* being emscripten (or
wasi, skips for which ere added in 9b50585e02).

In gh-131071 Victor Stinner added a linked_to_musl function to enable
skipping a test in test_math that fails under musl, like it does on a
number of other platforms.  This check can successfully detect that
python is running under musl on Alpine, which was the original problem
report in bpo-46390.

This PR replaces Victor's solution with an enhancement to
platform.libc_ver that does the check more cheaply, and also gets the
version number.  The latter is important because the math test being
skipped is due to a bug in musl that has been fixed, but as of this
checkin date has not yet been released.  When it is, the test skip can
be fixed to check for the minimum needed version.

The enhanced version of linked_to_musl is also used to do the skips of
the other tests that generically fail under musl, as opposed to
emscripten or wasi only failures.  This will allow these tests to be
skipped automatically on Alpine.

This PR does *not* enhance libc_ver to support emscripten and wasi, as
I'm not familiar with those platforms; instead it returns a version
triple of (0, 0, 0) for those platforms.  This means the musl tests will
be skipped regardless of musl version, so ideally someone will add
support to libc_ver for these platforms.

* Platform tests and bug fixes.

In adding tests for the new platform code I found a bug in the old code:
if a valid version is passed for version and it is greater than the
version found for an so *and* there is no glibc version, then the
version from the argument was returned.  The code changes here fix
that.

* Add support docs, including for some preexisting is_xxx's.

* Add news item about libc_ver enhancement.

* Prettify platform re expression using re.VERBOSE.

gh-131238: Remove pycore_runtime.h from pycore_pystate.h (#131356)

* Remove includes from pycore_pystate.h:

  * pycore_runtime_structs.h
  * pycore_runtime.h
  * pycore_tstate.h
  * pycore_interp.h

* Reorganize internal headers. Move _gc_thread_state from
  pycore_interp_structs.h to pycore_tstate.h.
* Add 3 new header files to PCbuild/pythoncore.vcxproj.