gh-129269: Exclude everything in sys.path in `test_coverage_ignore` (gh-130133)

The `test_trace.test_coverage_ignore` test would fail if you had
`setuptools` installed, such as in `~/.local/lib/python3.xxx/site-packages/`.
Ignore everything in `sys.path` when running the test.

[doc]: Update logging cookbook to mention domain socket configuration in a recipe. (GH-130348)

gh-111178: fix UBSan failures in `Modules/_pickle.c` (#129787)

Fix UBSan failures for `Pdata`, `PicklerObject`, `UnpicklerObject`, `PicklerMemoProxyObject`, `UnpicklerMemoProxyObject`

Indicate safe fast cast to avoid redundant future checks

Use semantically correct parameter names

gh-111178: fix UBSan failures in `Modules/overlapped.c` (GH-129786)

Fix UBSan failures for `OverlappedObject`

gh-111178: fix UBSan failures in `Modules/_operator.c` (GH-129785)

Fix UBSan failures for `itemgetterobject`, `attrgetterobject`, `methodcallerobject`

Suppress unused return values

gh-129173: Use `_PyUnicodeError_GetParams` in `PyCodec_SurrogateEscapeErrors` (GH-129175)

gh-128863: Deprecate the private _PyUnicodeWriter API (#129245)

Deprecate private C API functions:

* _PyUnicodeWriter_Init()
* _PyUnicodeWriter_Finish()
* _PyUnicodeWriter_Dealloc()
* _PyUnicodeWriter_WriteChar()
* _PyUnicodeWriter_WriteStr()
* _PyUnicodeWriter_WriteSubstring()
* _PyUnicodeWriter_WriteASCIIString()
* _PyUnicodeWriter_WriteLatin1String()

These functions are not deprecated in the internal C API (if the
Py_BUILD_CORE macro is defined).

gh-101100: Fix sphinx warnings in `readline.rst` (#130300)

gh-130250: use support.swap_attr() in test and don't assume we're beginning with a clean system state (#130342)

Fix some ctypes docs typos (GH-130307)

gh-127750: Restore inspect and pydoc support of singledispatchmethod (GH-130309)

The code is still flawed, because it does not recognize class and static
methods, and the first argument is not removed from the signature of
bound methods, but at least it does not worse than in 3.13 and older.

gh-69001: Convert links to more usable buttons (#129591)

In Lib/idlelib/help_about.py, there are 2 links that are not underlined or colored, hence hard to tell that clicking works.  All buttons might get converted to colored and underlined links in the future.
---------

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

gh-130130: Clarify `hash=False` docs in `dataclasses.field` (#130324)

gh-130293: Ensure test__colorize will pass on dumb terminals. (#130333)

Ensure colorize tests will run on dumb terminals (or environment with TERM=dumb set)
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-57537: Support breakpoints for zipimport modules on pdb (#130290)

gh-130250: fix cleanup in test (impacts refleaks runs) (#130329)

gh-130250: fix regression in traceback.print_last (#130318)

gh-122876: Fix "End of lines" typo (#125310)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-128396: Fix a crash when inline comprehension has the same local variable as the outside scope (#130235)

gh-130221: fix crash when accessing module state while interp is finalizing in asyncio (#130245)

gh-129898: per-thread current task implementation in asyncio (#129899)

Store the current running task on the thread state, it makes it thread safe for the free-threading build and while improving performance as there is no lock contention, this effectively makes it lock free.
When accessing the current task of the current running loop in current thread, no locking is required and can be acessed without locking.
In the rare case of accessing current task of a loop running in a different thread, the stop the world pauses is used in free-threading builds to stop all other running threads and find the task for the specified loop.

This also makes it easier for external introspection to find the current task, and now it will be always correct.

Revert "Use ubuntu-22.04-arm image for Arm runners. (#129834)" (#130305)

GitHub discovered it was an issue with the underlying hardware
and have migrated all the runners to a different arm sku (dpdsv5).

This reverts commit 80b9e79d84e835ecdb5a15c9ba73e44803ca9d32.

GH-91079: Implement C stack limits using addresses, not counters. (GH-130007)

* Implement C recursion protection with limit pointers

* Remove calls to PyOS_CheckStack

* Add stack protection to parser

* Make tests more robust to low stacks

* Improve error messages for stack overflow

gh-111178: fix UBSan failures in `Modules/_datetimemodule.c` (GH-129774)

Add cast macros for date and time objects

Fix UBSan failures for `PyDateTime_Delta`, `PyDateTime_Date`, `PyDateTime_TZInfo`, `PyDateTime_TimeZone`, `PyDateTime_Time`, `PyDateTime_DateTime`, `PyDateTime_IsoCalendarDate`

Fix up naming

gh-111178: fix UBSan failures in `Modules/mmapmodule.c` (GH-129784)

Fix UBSan failures for `mmap_object`

Use 'ignored' for NOARGS method and 'args' for others

gh-111178: fix UBSan failures in `Modules/itertoolsmodule.c` (GH-129780)

gh-129107: make `bytearray` iterator thread safe (#130096)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-115999: Make list and tuple iteration more thread-safe. (#128637)

Make tuple iteration more thread-safe, and actually test concurrent iteration of tuple, range and list. (This is prep work for enabling specialization of FOR_ITER in free-threaded builds.) The basic premise is:

Iterating over a shared iterable (list, tuple or range) should be safe, not involve data races, and behave like iteration normally does.

Using a shared iterator should not crash or involve data races, and should only produce items regular iteration would produce. It is not guaranteed to produce all items, or produce each item only once. (This is not the case for range iteration even after this PR.)

Providing stronger guarantees is possible for some of these iterators, but it's not always straight-forward and can significantly hamper the common case. Since iterators in general aren't shared between threads, and it's simply impossible to concurrently use many iterators (like generators), better to make sharing iterators without explicit synchronization clearly wrong.

Specific issues fixed in order to make the tests pass:

 - List iteration could occasionally fail an assertion when a shared list was shrunk and an item past the new end was retrieved concurrently. There's still some unsafety when deleting/inserting multiple items through for example slice assignment, which uses memmove/memcpy.

 - Tuple iteration could occasionally crash when the iterator's reference to the tuple was cleared on exhaustion. Like with list iteration, in free-threaded builds we can't safely and efficiently clear the iterator's reference to the iterable (doing it safely would mean extra, slow refcount operations), so just keep the iterable reference around.

Docs: Upgrade Sphinx to 8.2 (#130171)

gh-130094: Fix race conditions in `importlib` (gh-130101)

Entries may be added or removed from `sys.meta_path` concurrently. For
example, setuptools temporarily adds and removes the `distutils` finder from
the beginning of the list. The local copy ensures that we don't skip over any
entries.

Some packages modify `sys.modules` during import. For example, `collections`
inserts the entry for `collections.abc`  into `sys.modules` during import. We
need to ensure that we re-check `sys.modules` *after* the parent module is
fully initialized.

gh-124703: Add extra checks for pdb quit test (#130286)

gh-129515: Clarify syntax error messages for conditional expressions (#129880)

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

bpo-45325: Add a new 'p' parameter to Py_BuildValue to convert an integer into a Python bool (#28634)

gh-126944: Show explicit errors when required arguments of pdb commands are missing (#130240)

gh-127260: Improve error consistency in both `fromisoformat` implementations (#130134)

In the Python implementation, "Z" was allowed where only "+" or "-" should be allowed in time zone specifiers. In the C implementation, ":" was allowed as a separator between the whole and fractional portion of times (seconds). These have both been forbidden and the error messages harmonized.

gh-129989: Change Py_TAIL_CALL_INTERP ifndef to ! (#130269)

Change Py_TAIL_CALL_INTERP ifndef to !

gh-130164: Fix inspect.Signature.bind() handling of positional-only args without defaults (GH-130192)

Follow-up to 9c15202.

gh-44827: Improve error if BOM on first line of .po file (GH-130187)

gh-111178: fix UBSan failures in `Modules/_lzmamodule.c` (GH-129783)

fix UBSan failures for LZMA objects

suppress unused return values

gh-130160: use `option` instead of `cmdoption` in `dis.rst` (#130255)

gh-130160: use `.. program::` directive for documenting `ensurepip` CLI (gh-130253)

improve `test_tasks` to use correct idiom for starting task in asyncio (#130257)

The test should use the correct idiom for starting the task, `loop._run_once` is private API which should not be used directly, instead use `asyncio.sleep(0)` for 1 event loop cycle.

gh-130230: Fix crash in pow() with only Decimal third argument (GH-130237)

gh-130195: Remove unimplemented option from pygettext (#130196)

Co-authored-by: Tomas R. <tomas.roun8@gmail.com>

gh-118761: Improve import time of `cmd` module (#130056)

* Improve import time of `cmd` module
* Remove string import

GH-127381: pathlib ABCs: remove `ReadablePath.rglob()` (#130207)

Remove `ReadablePath.rglob()` from the private pathlib ABCs. This method is
a trivial wrapper around `glob()` and easily replaced.

GH-125413: Add private metadata methods to `pathlib.Path.info` (#129897)

Add the following private methods to `pathlib.Path.info`:

- `_posix_permissions()`: the POSIX file permissions (`S_IMODE(st_mode)`)
- `_file_id()`: the file ID (`(st_dev, st_ino)`)
- `_access_time_ns()`: the access time in nanoseconds (`st_atime_ns`)
- `_mod_time_ns()`: the modify time in nanoseconds (`st_mtime_ns`)
- `_bsd_flags()`: the BSD file flags (`st_flags`)
- `_xattrs()`: the file extended attributes as a list of key, value pairs,
  or an empty list if `listxattr()` or `getxattr()` fail in an ignorable
  way.

These methods replace `LocalCopyReader.read_metadata()`, and so we can
delete the `CopyReader` and `LocalCopyReader` classes. Rather than reading
metadata via `source._copy_reader.read_metadata()`, we instead call
`source.info._posix_permissions()`, `_access_time_ns()`, etc.

Preserving metadata is only supported for local-to-local copies at the
moment. To support copying metadata between arbitrary `ReadablePath` and
`WritablePath` objects, we'd need to make the new methods public and
documented.

Co-authored-by: Petr Viktorin <encukou@gmail.com>

cover `**/*hashopenssl*` in CODEOWNERS (#130236)

gh-125756: Document Pickler.clear_memo() (GH-125762)

gh-111178: fix UBSan failures in `Modules/_lsprof.c` (GH-129782)

Fix UBSan failures for `ProfilerObject`

Suppress unused return value

gh-111178: fix UBSan failures in `Modules/_jsonmodule.c` (GH-129781)

Fix UBSan failures for `PyScannerObject`, fix UBSan failures for `PyEncoderObject`

gh-129678: ConfigParser: do not write an empty unnamed section (GH-129679)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-129701: Fix a data race in `intern_common` in the free threaded build (GH-130089)

* gh-129701: Fix a data race in `intern_common` in the free threaded build

* Use a mutex to avoid potentially returning a non-immortalized string,
  because immortalization happens after the insertion into the interned
  dict.

* Use `Py_DECREF()` calls instead of `Py_SET_REFCNT(s, Py_REFCNT(s) - 2)`
  for thread-safety. This code path isn't performance sensistive, so
  just use `Py_DECREF()` unconditionally for simplicity.

gh-130214: Document `PyEllipsis_Type` (GH-130215)

gh-111178: fix UBSan failures in `Modules/_collectionsmodule.c` (#129773)

Fix some UBSan failures for `dequeobject`, `dequeiterobject`, `defdictobject` and `tuplegetterobject`.

We also perform some cleanup by suppressing unused return values and renaming the
unused argument in `METH_NOARGS` methods to `dummy` for semantic purposes.

CI: Use ImageOS (ubuntu24) instead of runner.os (Linux) in cache keys (#130200)

gh-130057: Pygettext: Support translator comments (GH-130061)

gh-111178: fix UBSan failures in `Modules/_interp*module.c` (GH-129779)

Fix UBSan failures for `XIBufferViewObject`

Remove redundant casts, suppress unused return values

gh-111178: fix UBSan failures in `Objects/exceptions.c` (GH-128154)

Fix UBSan failures for `PyBaseExceptionObject`, `PyStopIterationObject`, `PySystemExitObject`, `PyImportErrorObject`, `PyOSErrorObject`,  `PyNameErrorObject`,  `PyAttributeErrorObject`, `PySyntaxErrorObject`,  `KeyError`,  `UnicodeError*`, `PyBaseExceptionGroupObject`

Remove redundant casts

Align the naming convention `Py[...]_CAST(op)` where only an assert-only type check is performed.

gh-127750: Fix and optimize functools.singledispatchmethod() (GH-130008)

Remove broken singledispatchmethod caching introduced in gh-85160.
Achieve the same performance using different optimization.

* Add more tests.

* Fix issues with __module__ and __doc__ descriptors.

gh-130193: Increase test coverage of gettext.c2py (GH-130208)

gh-129805: Fix `bytes` annotation in `Tools/jit` (#129806)

gh-86069: Add more PyNumber_InPlacePower() tests (GH-130111)

Test it with the third argument.

gh-118761: Revert "Improve import time of `subprocess` (GH-129427)" (#130201)

* Revert "gh-118761: Improve import time of `subprocess` (GH-129427)"

This reverts commit 49f24650e4541456872490ec2b59d6d186204891.
Also known as f502c8f6a6db4be27c97a0e5466383d117859b7f in 3.13 (PR #129447)
Also known as f65aa0d1bf7b636ab8f9d226429205854b24cd7a in 3.12 (PR #129448)

This caused bugs in the `__del__` finalizer:
 https://github.com/python/cpython/issues/118761#issuecomment-2661504264

---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

pathlib ABCs: remove caching of path parser case sensitivity (#130194)

Remove the caching `_is_case_sensitive()` function.

The cache used to speed up `PurePath.[full_]match()` and `Path.[r]glob()`,
but that's no longer the case - these methods use
`self.parser is posixpath` to determine case sensitivity.

This makes the `pathlib._abc` module a little easier to backport to Python
3.8, where `functools.cache()` is unavailable.

gh-130179: Fix `persistent_{id,load}_attr` reference leaks in `_pickle` (#130180)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-130080: return in finally in subprocess.py (#130081)

gh-130185: Fix unintentionally skipped tests in `test_functools` (#130186)

gh-130139: always check ast node type in ast.parse() with ast input (#130140)

gh-130177: Fix unintentionally skipped tests in test_gettext (GH-130178)

gh-127488: Add tests for Tools/i18n/msgfmt.py (GH-127540)

gh-130169: Fix broken list markup in `Doc/c-api/function.rst` (#130174)

Replace non-breaking spaces with normal spaces (#130116)

Using normal spaces in place of non-breaking spaces.

GH-128520: Subclass `abc.ABC` in `pathlib._abc` (#128745)

Convert `JoinablePath`, `ReadablePath` and `WritablePath` to real ABCs
derived from `abc.ABC`.

Make `JoinablePath.parser` abstract, rather than defaulting to `posixpath`.

Register `PurePath` and `Path` as virtual subclasses of the ABCs rather
than deriving. This avoids a hit to path object instantiation performance.

No change of behaviour in the public (non-abstract) classes.

gh-129989: Properly disable tailcall interp in configure (GH-129991)

Co-authored-by: Zanie Blue <contact@zanie.dev>

gh-128345: properly disable gil for `_freeze_module.vcxproj` (#128344)

Add Neil's suggestions to whatsnew wording for tailcall (#130155)

Add Neil's suggestions

Co-authored-by: Neil Schemenauer <690853+nascheme@users.noreply.github.com>

gh-130145: fix `loop.run_forever` when loop is already running (#130146)

gh-129107: make `bytearray` thread safe (#129108)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-130106: Fix a typo in unittest.mock doc (#130107)

gh-130095: Mark `_py_abc` tests as not thread-safe (gh-130131)

The `_py_abc` implementation is not currently thread-safe (even with the GIL).
Don't run these tests with `--parallel-threads=N` for now.

gh-130123: Make __new__ wrapper be deferred (#130124)

Make __new__ wrapper be deferred

Doc: update term "namespace package" (#129251)

gh-129173: Use `_PyUnicodeError_GetParams` in `PyCodec_SurrogatePassErrors` (GH-129134)

gh-128703: Fix mimetypes.guess_type for empty Content-Type in registry (GH-128854)

gh-82045: Correct and deduplicate "isprintable" docs; add test. (GH-130118)

We had the definition of what makes a character "printable" documented in three places, giving two different definitions.
The definition in the comment on `_PyUnicode_IsPrintable` was inverted; correct that.

With that correction, the two definitions turn out to be equivalent -- but to confirm that, you have to go look up, or happen to know, that those are the only five "Other" categories and only three "Separator" categories in the Unicode character database.  That makes it hard for the reader to tell whether they really are the same, or if there's some subtle difference in the intended semantics.

Fix that by cutting the C API docs' and the C comment's copies of the subtle details, in favor of referring to the Python-level docs. That ensures it's explicit that these are all meant to agree, and also lets us concentrate improvements to the wording in one place.

Speaking of which, borrow some ideas from the C comment, along with other tweaks, to hopefully add a bit more clarity to that one newly-centralized copy in the docs.

Also add a thorough test that the implementation agrees with this definition.

Author:    Greg Price <gnprice@gmail.com>

Co-authored-by: Greg Price <gnprice@gmail.com>

Correct typo in GH-129623 (#130079)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

CI: Mark the `cross-build-linux` job as skippable (#130113)

gh-126835: Set location for noped out instructions after constant folding in CFG. (#130109)

gh-107510: gettext: Remove unnecessary tests (GH-127965)

There are now separate pygettext tests.

gh-129911: pygettext: Fix the keyword entry in help output (GH-129914)

gh-125331: Allow the parser to activate future imports on the fly (#125482)

GH-115869: Don't JIT zeroed bytes (GH-130023)

Fix a typo in `_localemodule.c` (GH-130085)

gh-128130: Fix unhandled keyboard interrupt data race (gh-129975)

Use an atomic operation when setting
`_PyRuntime.signals.unhandled_keyboard_interrupt`. We now only clear the
variable at the start of `_PyRun_Main`, which is the same function where
we check it.

This avoids race conditions where previously another thread might call
`run_eval_code_obj()` and erroneously clear the unhandled keyboard
interrupt.

Revert "gh-130048: Reintroduce full LTO as default on Clang (GH-130049)" (#130088)

This reverts commit 34c06ccc4c6c21935b46302935f3df24b00daa2c.

gh-129984: Mark immortal objects as deferred (#129985)

Mark immortal objects as deferred

gh-130019: Fix data race in _PyType_AllocNoTrack (gh-130058)

The reference count fields, such as `ob_tid` and `ob_ref_shared`, may be
accessed concurrently in the free threading build by a `_Py_TryXGetRef`
or similar operation. The PyObject header fields will be initialized by
`_PyObject_Init`, so only call `memset()` to zero-initialize the remainder
of the allocation.

no-issue: Add free-threading build for TC dispatch (gh-130083)

no-issue: Add free-threading build for TCO dispatch

gh-130048: Reintroduce full LTO as default on Clang (GH-130049)