gh-154271: Enable socket ancillary data and forkserver on illumos (GH-154273)

illumos declares the socket ancillary-data API (CMSG_*, sendmsg(),
recvmsg()) only under _XOPEN_SOURCE >= 600.  __EXTENSIONS__ keeps the
other platform features.  This enables the forkserver start method.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154324: Fix os.sendfile() error reporting on illumos (GH-154327)

illumos sendfile(3EXT) returns the number of transferred bytes by adding
it to the offset without initializing it, so the offset cannot be used to
detect a partial write.  Use sendfilev(3EXT), which reports the number of
transferred bytes in an explicit out parameter.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

gh-154821: fix data races on function attributes (#154826)

gh-154822: Fix racy assertion during finalization (GH-154824)

gh-152674: Avoid quadratic behavior in xml.etree.ElementPath index predicates (GH-152676)

Co-authored-by: Alexis <alexis.challande@trailofbits.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-132604: Track deprecation related to runtime-checkable protocols (3.20) (#154790)

* Track deprecation related to runtime-checkable protocols until 3.20

* Add deprecation note to 3.15 what's new

gh-142349: Clarify lazy import filters have positional-only parameters (GH-144856)

gh-154661: Reorganize difflib documentation (GH-154662)

- Put common information in an intro section at the beginning, rather
  than in a duplicate doc entry for `SequenceMatcher`
- Merge the two doc entries for `Differ`
- Document timing as a CPython implementation detail
- Group examples together

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-154775: Don't accept duplicate plus sign when matching complex number (GH-154776)

Co-authored-by: Bartosz Sławecki <bartosz@ilikepython.com>

gh-150866: Fix asyncio shutdown_asyncgens to report BaseException (#150867)

gh-154786: Fix crashes on a screen without a terminal (GH-154787)

screen.use() makes its screen current for the callback, so a new_prescr()
screen, which has no terminal, can be current without set_term().
Operations that need a terminal then crashed inside curses.

Raise curses.error instead, checking that stdscr exists.

gh-154746: Update docstring for `collections.Counter` (GH-154792)

Added a note to `collections.Counter`'s docstring that initializing a `Counter` from a `Mapping` or `Counter` will have different behaviour than initializing from other `Iterable`s.

This behaviour was already documented in the canonical docs but is missing from the help() output.

gh-154467: Fix empty (Pdb) prompt when attaching to a process with pdb -p (#154469)

_PdbServer inherits _cmdloop, which wraps cmdloop() in
_maybe_use_pyrepl_as_stdin(). That context manager blanks self.prompt to ''
so that a local pyrepl draws the prompt itself. The remote server, however,
never reads from a local pyrepl -- it transmits self.prompt to the client
over the socket -- so the blanking made it send an empty prompt whenever the
target process had a pyrepl-capable terminal (pyrepl_input is set).

Override _maybe_use_pyrepl_as_stdin() in _PdbServer to a no-op, keeping the
real prompt. Add an integration test that attaches to a target running under
a pty, so PyREPL is genuinely enabled inside it, and asserts the transmitted
prompt is "(Pdb) ".

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154675: reorganize some imports in importlib (#154657)

gh-152912: Fix audit hook exception check in sys.addaudithook() (GH-152913)

gh-152548: Add a test.support.isolation.runInSubprocess() decorator (GH-152551)

Run a test in a fresh interpreter subprocess, so that it does not share global
or interpreter state with the rest of the test run.  It can decorate a test
method (only that method runs in a subprocess) or a TestCase subclass (the
whole class runs in one subprocess, with its setUpClass()/setUp()/tearDown()/
tearDownClass() running there rather than in the parent).

Failures, errors and skips, including those of individual subtests, are
reported for the test; a failure or an error shows the original subprocess
traceback.  The subprocess inherits the parent's resource, memory, verbosity
and failfast configuration, so that requires_resource(), bigmemtest() and
similar behave the same in both processes.  A decorated test is skipped where
subprocesses are unavailable, since it must spawn one.

The test.support.isolation.runningInSubprocess flag is true in the subprocess,
so that fixtures can choose what to run there.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

gh-154749: Reject a terminal-less screen in curses.set_term() (GH-154750)

set_term() accepted a screen returned by new_prescr(), which has no
terminal, and the next refresh crashed inside curses.  Raise
curses.error instead.

gh-154751: Fix use-after-free in curses.initscr() after newterm() (GH-154752)

initscr() called while a newterm() screen is current returned a second
window object over that screen's standard window, with no reference to
the screen.  Either wrapper could then free the window used by the other.

Return the screen's own standard window instead.

gh-154744: Improve detection of skipinitialspace in csv.Sniffer (GH-154745)

Detect the padding by parsing the sample both with and without
skipinitialspace and comparing the two readings, instead of testing
whether every field following a delimiter starts with a space.

gh-154431: Revert "gh-154431: Fix data race in `sys.audithook` (#154462)" (GH-154769)

This commit caused a refleak.

This reverts commit 596cd5c5d7b6ada3e50c6499447eb90a065769ad.

gh-122931: Allow stable abi3 API extensions to include a multiarch tuple in the filename (GH-152461)

This permits stable ABI extensions for multiple architectures to be
co-installed into the same directory, without clashing with each other,
the same way (non-stable ABI) regular extensions can.

It is listed before the current platform-less suffixes since it's more
specific.

The platform is stored in a new pyconfig.h define & sysconfig
variable, SOABI_PLATFORM.
On some known architectures (FreeBSD, Windows), this
will be undefined/zero; these won't have the new tag (yet).

Add SOABI_PLATFORM & ALT_SOABI the info to
`make pythoninfo` as well.

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

Update mypy to 2.3 (#154764)

gh-154070: Build the curses module wide by capability, not by name (GH-154071)

configure built the module wide (HAVE_NCURSESW) only for a backend named
ncursesw.  Probe for the wide API in the ncurses and auto backends too, so
a widec-built ncurses keeping the plain name (pkgsrc, macOS) is built wide.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

gh-145177: Upgrade to Emscripten 6.0.4 (#154743)

Bumps Emscripten version for builds to 6.0.4.

gh-93251: Decode localized socket error messages from the locale encoding (GH-154683)

The gai_strerror() and hstrerror() messages were decoded as UTF-8, so
gaierror and herror could be replaced with UnicodeDecodeError if the
message is localized and the locale encoding is not UTF-8.

Co-authored-by: Claude Fable 5 <noreply@anthropic.com>

gh-148736: Use ag_frame when walking async generators in asyncio.graph (#148737)

gh-153862: Fix spurious color pair in curses window.inch() on a wide build (GH-154703)

winch() returns the whole code point, so inch() replacing only its low
8 bits left the high bits in the color field.  Rebuild from
getcchar()'s attributes and color pair.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154695: fix asyncio.Task eager_start=True with no explicit loop (#154697)

Fix a stale link to the `math.integer.isqrt()` correctness proof (#154685)

Add the free-threaded Windows build output dirs to `.gitignore` (#154641)

gh-154199: Soft-deprecate `ctypes.util.find_msvcrt` (GH-154553)

gh-150621: avoid quadratic bytes slicing in `asyncio.protocols._feed_data_to_buffered_proto` (#150622)

gh-154493: Add the UCD license to `Doc/license.rst` (#154651)

gh-153296: Fix thread-safety data race in io.StringIO iterator (#153368)

gh-154043: Fix a data race when iterating a shared `types.GenericAlias` iterator in FT build (#154108)

gh-120866: Document behavior change of asyncio.Server.wait_closed() since 3.12 (#154676)

gh-153290: Fix data race in BytesIO.__setstate__ installing __dict__ (#153376)

GH-153809: Untrack TaskObj from GC before calling unregister_task (#154563)

gh-118150: warn in doc about results asymmetry for difflib junk (GH-153892)

gh-134745: Remove dead code in `thread_nt.h` left by gh-134747 (#154338)

gh-154189: Fix use-after-free in `functools.partial_vectorcall` (GH-154508)

GH-154638: Use lazy imports in argparse (#154639)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

GH-142035: Fix wrapping of colorized argparse help text (#154634)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-70990: Support bytes addresses of Unix sockets in SysLogHandler (GH-154500)

Only a str address was recognized as a Unix domain socket.  A bytes
address, which socket.bind() accepts, fell through to the (host, port)
branch and raised ValueError.

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154580: Fix python-gdb.py pretty-printing non-ASCII strings in non-UTF-8 locales (GH-154581)

The gdb pretty-printer used locale.getpreferredencoding() to decide whether to
escape a character, but gdb writes its output in its host charset.  Use
gdb.host_charset() instead.  test_strings had the same problem.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-153419: Fix several issues around bytearray __init__ (#153498)

Introduce a bytearray_new() function to ensure that
ob_bytes_object is always set on a bytearray.

Resizing a bytearray to 0 length now explicitly sets
the ob_bytes_object to the empty constant immortal.

Add a check in the 'bytearray init from string'
fast path to ensure there are no active exports.

This fixes asserts/crashes on the following:
 - bytearray(1).__init__()
 - bytearray().__new__(bytearray).append(1)
 - a = bytearray(); b = memoryview(a); a.__init__('x', 'ascii')

Co-authored-by: Cody Maloney <cmaloney@users.noreply.github.com>

gh-76595: Add tests for PyCapsule_Import() (GH-154588)

Add _testcapi helpers to create a capsule with an arbitrary name and to call PyCapsule_Import(), and Python tests covering the current behavior: only the first component of the dotted name is imported, the rest are attribute lookups.

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

gh-73458: Fix logging.config.listen() on a host without an IPv4 address (GH-154491)

The server is created in a thread which set the "ready" event only after a
successful start, so a failure to start left the caller waiting for that
event forever.  Set it also on failure.

The receiver always used AF_INET, which fails if the host has no IPv4
address, for example if "localhost" is only aliased to ::1.  Use the family
of the first resolved address in such case.

Also fixes gh-82076.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-145107: simplify asyncio staggered race using eager_start=False (#145108)

gh-140326: disable the relative import in asyncio REPL (#140327)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-150361: add test for FlowControlMixin pause_writing exception handling (#150362)

gh-145030: Fix asyncio write pipe transport for named FIFOs on macOS (#154222)

gh-91484: Allow memoryview cast for F-contiguous (GH-137803)

gh-154582: Fix test_invalid_utf8_arg in non-UTF-8 multibyte locales (GH-154584)

Arbitrary bytes round-trip through surrogateescape only in UTF-8 and
single-byte encodings, not in a stateful multibyte encoding such as EUC-JP.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-146011: Fix use-after-free in `signaldict_repr` after deletion (#153784)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-154592: Fix test_peg_generator in non-UTF-8 locales with a non-ASCII work dir (GH-154593)

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-153785: Generate `AttributeError` messages from context (#153786)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-150546: Fix cleanup for replacement_locations in _PyCode_New() (#150549)

gh-153570: Fix use-after-free in bytearray.take_bytes() with a reentrant __index__ (#153572)

bytearray.take_bytes() cached the size before the argument's __index__ call and
used it for the bounds check and the buffer reads, so an __index__ that resizes
the bytearray left it reading freed memory. Re-read the size after __index__,
matching bytearray.__setitem__ (GH-91153).

gh-152433: Windows: modernize and refactor stat emulation APIs (GH-153700)

This allows build on more API sets (e.g. UWP) without excluding any currently supported desktop OS.

gh-152263: Fix test_set_wide for locales with wide characters (GH-154583)

The soft label can be truncated to fit the soft label width, e.g. in the
EUC-JP locale, where "Å" and "ö" are double-width JIS X 0212 characters.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-153176: Fix destroy_interpreter() test helper clearing a non-current thread state (#153307)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>
Co-authored-by: Xiaowei Lu <weixlu420302@gmail.com>

gh-154551: Fix ctypes.util.find_library() in non-UTF-8 locales (GH-154552)

_findLib_ld() failed to decode the localized "ld" stderr in the locale
encoding.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-153903: Copy docstrings and other metadata in `ctypes.util.wrap_dll_function` (GH-154495)

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

gh-69573: Check the return value of msvcrt._putch() and _putwch() (GH-154364)

gh-154525: Skip ncurses find_pair()/alloc_pair() reuse checks before 6.3 (GH-154543)

find_pair() and reuse in alloc_pair() were fixed in ncurses 6.3 (patch
20200411).  On earlier versions find_pair() returns -1 and alloc_pair()
allocates a fresh pair instead of reusing an equal one, so
test_dynamic_color_pairs failed on ncurses 6.1 and 6.2.

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154525: Fix curses getcchar() failure on ncurses older than 6.3 (GH-154526)

getcchar() rejected a non-NULL opts argument before ncurses 6.3, so read
the color pair through the short slot instead.

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-139445: Skip pyrepl tests if the terminal is not supported (GH-154497)

They were only skipped if TERM was unset or "dumb", but pyrepl also
needs the terminal to have several capabilities.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154502: Disable junk filling in the OpenBSD allocator in test_capi (GH-154503)

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154401: Skip fetching the thread state for non-GC types in `_Py_Dealloc` (GH-154430)

_Py_Dealloc() fetched the current thread state and computed the C
recursion margin on every deallocation, but both are only used by the
trashcan mechanism, which applies only to GC-tracked types. Gate them
behind the Py_TPFLAGS_HAVE_GC check so the common non-GC case (int,
float, str and similar atomic types) skips them.

On platforms where _PyThreadState_GET() reads a _Thread_local via a
function call (e.g. macOS TLV), this removes a call from every non-GC
deallocation.

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154272: Skip more forkserver tests if the start method is unavailable (GH-154499)

Two tests were still not skipped: they were only guarded against Cygwin
and Windows.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

Remove `from stat import *` recommendation from `stat.py` docstring (#154486)

gh-150076: Fix the documented signature of warnings.deprecated (#153879)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-80678: Document the preferred delimiters of csv.Sniffer (#154336)

The delimiters which win when several combinations fit the sample
equally well were not documented.

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-153872: macOS: free-threading support is installed by default on Python 3.15 (#154103)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-154431: Fix data race in `sys.audithook` (#154462)

gh-154460: Do not use wcsftime() on OpenBSD (#154461)

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
Co-authored-by: Stan Ulbrych <stan@python.org>

gh-154465: Add configure flag to exclude emscripten_syscalls.c (#154466)

Pyodide doesn't want to include emscripten_syscalls.c in the build since it
links a different version of it. This adds a configure flag to drop it.

gh-154272: Skip forkserver tests when the start method is unavailable (GH-154274)

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-84649: Fix unstable test_rollover_at_midnight (GH-154463)

Create the log file in a fresh directory under a name which has never
been used.  On Windows, NTFS file tunneling restored the original
creation time of a file recreated with the same name, which made the
rollover time earlier than the current time and caused an unwanted
rollover.

Also check that the rollover does not happen before the specified time.

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-154014: Initialize cold executor vm_data fields (GH-154142)

gh-154437: Fix test_getcwd_long_path on DragonFly BSD (GH-154438)

DragonFly BSD raises EFAULT instead of ENAMETOOLONG when the path
exceeds PATH_MAX.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154435: Fix os.posix_fadvise() and os.posix_fallocate() on DragonFly BSD (GH-154436)

They return -1 and set errno instead of returning the error number, so
OSError was raised with a meaningless error code.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154443: Fix test_makedev on DragonFly BSD (GH-154444)

major() and minor() do not preserve NODEV on DragonFly BSD.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154441: Skip the scheduler tests if the API requires privileges (GH-154442)

DragonFly BSD requires privileges to use the scheduler API, even for
the calling process.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154007: Improve test coverage for the `shlex` module (#154009)

gh-154427: Check the access time in UtimeTests only if it is stored (GH-154428)

HAMMER2 on DragonFly BSD does not store the access time and os.stat()
returns the modification time instead.  Probe the file system, like it
is already done for the timestamp resolution.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154419: Find the fish shell in test_venv (GH-154420)

shutil.which('fish') can find the unrelated "Go Fish" game, which is
shipped on several BSD systems.  Search PATH for an executable which
behaves like the fish shell instead.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154416: Fix hanging test_tcflow on DragonFly BSD (GH-154417)

TCIOFF and TCION transmit STOP and START characters, and closing the
pseudo-terminal waits until they are read.  Discard them.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154414: Skip test_tcsendbreak on DragonFly BSD (GH-154415)

tcsendbreak() is not supported for pseudo-terminals on DragonFly BSD.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-153291: Fix data race in readline.get_completer() and get_pre_input_hook() (gh-153362)

The setters store these hooks while holding the module critical section
(via set_hook's Py_XSETREF), but the getters read and Py_NewRef the same
fields without it. Annotate both getters with @critical_section, matching
the other readline functions (gh-126895).

Co-authored-by: Neil Schemenauer <nas-github@arctrix.com>

gh-154395: Skip test_environment_is_not_modified without rl_change_environment (GH-154396)

readline sets LINES and COLUMNS if rl_change_environment is not
available, which is the case with readline older than 6.3.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154394: Skip test_tcsendbreak on OpenBSD (GH-154397)

tcsendbreak() is not supported for pseudo-terminals on OpenBSD.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154399: Fix venv activate.csh in a non-interactive shell (GH-154400)

activate.csh saved the prompt unconditionally, but the prompt variable
only exists in interactive shells, and csh fails on an undefined
variable.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-152902: Add Intel `icx` compiler to `configure.ac` (GH-152825)

gh-153741: Harden IDLE GUI tests for newer Tk and display scaling (#153742)

In test_sidebar.test_mousewheel, only use the X11 <Button-4>/<Button-5> events when testing on
x11 Tk before 8.7.  Otherwise, use <Mousewheel> as on other systems.

In test_configdialog, assert the 'disabled' state flag alone instead of
the exact ttk state tuple (which transient pointer states break), and
restore the tests' method masks with addCleanup().

Co-authored-by: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

gh-103847: fix some asyncio subprocess cancellation bugs (#146571)

gh-154389: Do not use uuid_create() on OpenBSD (GH-154390)

Like NetBSD, OpenBSD generates version 4 UUIDs in uuid_create(), so it
cannot be used for uuid.uuid1().

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

gh-154379: Fix test_epoll on Solaris (GH-154380)

A non-blocking connect() can be completed immediately, and unregistering
a closed file descriptor succeeds on Solaris.

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

Test `object_hook` and pickleability of some JSON components (GH-154155)