gh-119786: Add jit.md. Move adaptive.md to a section of interpreter.md. (#127175)

gh-59705: Add _thread.set_name() function (#127338)

On Linux, threading.Thread now sets the thread name to the operating
system.

* configure now checks if pthread_getname_np()
  and pthread_setname_np() functions are available.
* Add PYTHREAD_NAME_MAXLEN macro.
* Add _thread._NAME_MAXLEN constant for test_threading.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-127314: Don't mention the GIL when calling without a thread state on the free-threaded build (#127315)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-125610: Fix `STORE_ATTR_INSTANCE_VALUE` specialization check (GH-125612)

The `STORE_ATTR_INSTANCE_VALUE` opcode doesn't support objects with
non-NULL managed dictionaries, so don't specialize to that op in that case.

gh-126024: fix UBSan failure in `unicodeobject.c:find_first_nonascii` (GH-127566)

gh-101100: amend references starting with `!~` in gh-127054 (#127684)

GH-126491: Lower heap size limit with faster marking (GH-127519)

* Faster marking of reachable objects

* Changes calculation of work to do and work done.

* Merges transitive closure calculations

gh-120010: Fix invalid (nan+nanj) results in _Py_c_prod() (GH-120287)

In some cases, previously computed as (nan+nanj), we could recover
meaningful component values in the result, see e.g. the C11, Annex
G.5.1, routine _Cmultd():

>>> z = 1e300+1j
>>> z*(nan+infj)  # was (nan+nanj)
(-inf+infj)

That also fix some complex powers for small integer exponents, computed
with optimized algorithm (by squaring):

>>> z**5  # was (nan+nanj)
Traceback (most recent call last):
  File "<python-input-1>", line 1, in <module>
    z**5
    ~^^~
OverflowError: complex exponentiation

gh-127655: Ensure `_SelectorSocketTransport.writelines` pauses the protocol if needed (#127656)

Ensure `_SelectorSocketTransport.writelines` pauses the protocol if it reaches the high water mark as needed.

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-127627: Add `posix._emscripten_debugger` function (#127628)

Add a posix._emscripten_debugger function to add an emscripten breakpoint.

GH-125413: Revert addition of `pathlib.Path.scandir()` method (#127377)

Remove documentation for `pathlib.Path.scandir()`, and rename the method to
`_scandir()`. In the private pathlib ABCs, make `iterdir()` abstract and
call it from `_scandir()`.

It's not worthwhile to add this method at the moment - see discussion:
https://discuss.python.org/t/ergonomics-of-new-pathlib-path-scandir/71721

Co-authored-by: Steve Dower <steve.dower@microsoft.com>

gh-127582: Make object resurrection thread-safe for free threading. (GH-127612)

Objects may be temporarily "resurrected" in destructors when calling
finalizers or watcher callbacks. We previously undid the resurrection
by decrementing the reference count using `Py_SET_REFCNT`. This was not
thread-safe because other threads might be accessing the object
(modifying its reference count) if it was exposed by the finalizer,
watcher callback, or temporarily accessed by a racy dictionary or list
access.

This adds internal-only thread-safe functions for temporary object
resurrection during destructors.

[Docs] GDB howto: Fix block type of a cast example (#127621)

gh-127221: Add colour to unittest output (#127223)

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

GH-126727: Fix test_era_nl_langinfo with Japanese ERAs on Solaris (GH-127327)

Fix test_era_nl_langinfo with Japanese ERAs on Solaris

gh-122431: Disallow negative values in `readline.append_history_file` (#122469)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-127413: allow to show specialized bytecode via `dis` CLI (#127414)

gh-93312: Include <sys/pidfd.h> to get PIDFD_NONBLOCK (#127593)

gh-119182: Complete PyUnicodeWriter documentation (#127607)

gh-127434: Fix iOS `xcrun --sdk` clang/ar scripts to allow arguments with spaces (#127575)

Added shell escaping to ensure iOS compiler shims can accept arguments with spaces.

gh-127503: Emscripten make Python.sh function as proper Python CLI (#127506)

Modifies the python.sh script to work on macOS, and adapt to recent emscripten changes.

gh-127146: Emscripten: Skip segfaults in test suite (#127151)

Added skips for tests known to cause problems when running on Emscripten.
These mostly relate to the limited stack depth on Emscripten.

gh-127111: Apply prettier formatter to Emscripten web example (#127551)

Cleaned up formatting (and a stray closing tag) of the web example HTML and JS.

GH-126795: Increase the JIT side-exit threshold from 64 to 4096 (GH-127155)

Enable native AArch64 Ubuntu CI jobs (#127584)

Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

gh-127536: Add missing locks in listobject.c (GH-127580)

We were missing locks around some list operations in the free threading
build.

gh-127552: Remove comment questioning 4-digit restriction for ‘Y’ in datetime.strptime patterns (#127590)

The code has required 4 digits for the year since its inclusion in the stdlib in 2002 (over 22 years ago as of this commit).

gh-127481: Add `EPOLLWAKEUP` to the `select` module (GH-127482)

gh-123378: Ensure results of `PyUnicode*Error_Get{Start,End}` are clamped (GH-123380)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>

gh-126524: Run `regen-unicodedata` as a part of our CI (#126682)

gh-127572: Fix `test_structmembers` initialization (GH-127577)

gh-127572: Fix `test_structmembers` initialization.

The 'C' format code expects an `int` as a destination (not a `char`).
This led to test failures on big-endian platforms like s390x. Use the
'c' format code, which expects a `char` as the destination (but requires
a Python byte objects instead of a str).

Itertool recipe additions (gh-127483)

gh-127146: Resolve some minor problems in Emscripten tests (#127565)

Adjusts some Emscripten test exclusions regarding strftime, fma, and stack depth.

gh-112192: Increase the trace module coverage precision to one decimal (#126972)

gh-115999: Enable specialization of `CALL` instructions in free-threaded builds (#127123)

The CALL family of instructions were mostly thread-safe already and only required a small number of changes, which are documented below.

A few changes were needed to make CALL_ALLOC_AND_ENTER_INIT thread-safe:

Added _PyType_LookupRefAndVersion, which returns the type version corresponding to the returned ref.

Added _PyType_CacheInitForSpecialization, which takes an init method and the corresponding type version and only populates the specialization cache if the current type version matches the supplied version. This prevents potentially caching a stale value in free-threaded builds if we race with an update to __init__.

Only cache __init__ functions that are deferred in free-threaded builds. This ensures that the reference to __init__ that is stored in the specialization cache is valid if the type version guard in _CHECK_AND_ALLOCATE_OBJECT passes.
Fix a bug in _CREATE_INIT_FRAME where the frame is pushed to the stack on failure.

A few other miscellaneous changes were also needed:

Use {LOCK,UNLOCK}_OBJECT in LIST_APPEND. This ensures that the list's per-object lock is held while we are appending to it.

Add missing co_tlbc for _Py_InitCleanup.

Stop/start the world around setting the eval frame hook. This allows us to read interp->eval_frame non-atomically and preserves the behavior of _CHECK_PEP_523 documented below.

gh-127271: Replace use of PyCell_GET/SET (gh-127272)

* Replace uses of `PyCell_GET` and `PyCell_SET`.  These macros are not
  safe to use in the free-threaded build.  Use `PyCell_GetRef()` and
  `PyCell_SetTakeRef()` instead.

* Since `PyCell_GetRef()` returns a strong rather than borrowed ref, some
  code restructuring was required, e.g. `frame_get_var()` returns a strong
  ref now.

* Add critical sections to `PyCell_GET` and `PyCell_SET`.

* Move critical_section.h earlier in the Python.h file.

* Add `PyCell_GET` to the free-threading howto table of APIs that return
  borrowed refs.

* Add additional unit tests for free-threading.

gh-115999: Add free-threaded specialization for `SEND` (gh-127426)

No additional thread safety changes are required.  Note that sending to
a generator that is shared between threads is currently not safe in the
free-threaded build.

gh-127421: Fix race in test_start_new_thread_failed (#127549)

Fix race in test_start_new_thread_failed

When we succeed in starting a new thread, for example if setrlimit
was ineffective, we must wait for the newly spawned thread to exit.
Otherwise, we run the risk that the newly spawned thread will race
with runtime finalization and access memory that has already been
clobbered/freed.

`_thread.start_new_thread()` only spawns daemon threads, which the runtime
does not wait for at shutdown, and does not return a handle. Use
`_thread.start_joinable_thread()` and join the resulting handle when
the thread is started successfully.

gh-115999: Specialize `LOAD_SUPER_ATTR` in free-threaded builds (gh-127128)

Use existing helpers to atomically modify the bytecode.  Add unit tests
to ensure specializing is happening as expected.  Add test_specialize.py
that can be used with ThreadSanitizer to detect data races.
Fix thread safety issue with cell_set_contents().

gh-127347: Document `traceback.print_list` (#127348)

Previously, `traceback.print_list` didn't have a documentation entry and was not exposed in `traceback.__all__`. Now it has a documentation entry and is exposed in `__all__`.

gh-127255: Make `CopyComPointer` public and add to `ctypes` doc. (GH-127275)

gh-117657: TSAN Fix races in `PyMember_Get` and `PyMember_Set` for C extensions (GH-123211)

gh-126585: Add EHWPOISON error code (#126586)

gh-127253: Note that Stable ABI is about ABI stability (GH-127254)

docs(logging): fix phrasing from "operation on" to "operate on" (#127543)

Speed-up lazy heapq import in collections (gh-127538)

gh-127111: Emscripten Make web example work again (#127113)

Moves the Emscripten web example into a standalone folder, and updates
Makefile targets to build the web example. Instructions for usage have
also been added.

gh-127518: Fix pystats build after #127169 (#127526)

gh-127518: Fix pystats build after #127619

gh-127521: Mark list as "shared" before resizing if necessary (#127524)

In the free threading build, if a non-owning thread resizes a list,
it must use QSBR to free the old list array because there may be a
concurrent access (without a lock) from the owning thread.

To match the pattern in dictobject.c, we just mark the list as "shared"
before resizing if it's from a non-owning thread and not already marked
as shared.

gh-127411: Fix invalid conversion of load of TLBC array when compiled in C++ (#127466)

Cast the result of the load to the correct type

gh-126876: Fix test_socket.testLargeTimeout() for missing _testcapi (#127517)

gh-115999: Use light-weight lock for UNPACK_SEQUENCE_LIST (gh-127514)

gh-101100: Fix Sphinx warnings about list methods (#127054)

gh-109523: Raise a BlockingIOError if reading text from a non-blocking stream cannot immediately return bytes. (GH-122933)

gh-126618: fix repr(itertools.count(sys.maxsize)) (#127048)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-126890: Restore stripped `ssl` docstrings (GH-127281)

Fix Unicode encode_wstr_utf8() (#127420)

Raise RuntimeError instead of RuntimeWarning.

GH-126491: GC: Mark objects reachable from roots before doing cycle collection (GH-127110)

* Mark almost all reachable objects before doing collection phase

* Add stats for objects marked

* Visit new frames before each increment

* Update docs

* Clearer calculation of work to do.

add missing gc_collect() calls in sqlite3 tests (#127446)

gh-127443: Fix some entries in `Doc/data/refcounts.dat` (#127451)

Fix incorrect entries in `Doc/data/refcounts.dat`

GH-127429: fix sysconfig data generation on cross-builds (#127430)

gh-115999: Add partial free-thread specialization for BINARY_SUBSCR (gh-127227)

gh-126899: Add `**kw` to `tkinter.Misc.after` and `tkinter.Misc.after_idle` (#126900)

---------
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-119786: cleanup internal docs and fix internal links (#127485)

gh-127321: Avoid stopping at an opcode without an associated line number for breakpoint() (#127457)

gh-127356: Fix prepend doctrees directory for gettext target (#127357)

Add the missing `f` on an f-string error message in multiprocessing. (GH-127462)

gh-127165: Disallow embedded NULL characters in `_interpreters` (#127199)

GH-127381: pathlib ABCs: remove `PathBase.cwd()` and `home()` (#127427)

These classmethods presume that the user has retained the original
`__init__()` signature, which may not be the case. Also, many virtual
filesystems don't provide current or home directories.

summarize: Fix typo in stats (#127450)

Docs: Fix incorrect indents in `c-api/type.rst` (#127449)

gh-127417: fix UTF-8 decoder optimization on AIX (#127433)

gh-119786: improve internal docs on `co_linetable` (#123198)

GH-127381: pathlib ABCs: remove `PathBase.lstat()` (#127382)

Remove the `PathBase.lstat()` method, which is a trivial variation of
`stat()`.

No user-facing changes because the pathlib ABCs are still private.

Link to correct class methods in asyncio primitives docs (#127270)

gh-127316: fix incorrect assertion in setting `__class__` in free-threading (#127399)

gh-127208: Reject null character in _imp.create_dynamic() (#127400)

_imp.create_dynamic() now rejects embedded null characters in the
path and in the module name.

fix param type in PyObject_HasAttrWithError (docs) (#127403)

gh-126024: optimize UTF-8 decoder for short non-ASCII string (#126025)

gh-127258: Fix asyncio test_staggered_race_with_eager_tasks() (#127358)

Replace the sleep(2) with a task which is blocked forever.

gh-127341: Argument Clinic: fix compiler warnings for getters with docstrings (#127310)

Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-126881: fix finalization of dtoa state (#126904)

gh-127303: Add docs for token.EXACT_TOKEN_TYPES (#127304)

---------

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Tomas R. <tomas.roun8@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-127359: Pin Tcl/Tk to 8 (8.6) for testing macOS (#127365)

gh-127190: Fix local_setattro() error handling (#127366)

Don't make the assumption that the 'name' argument is a string. Use
repr() to format the 'name' argument instead.

Touch up docs for ctypes.FormatError & WinError (GH-127210)

Reformat paragraphs, add backquotes, and directives.

gh-127330: Update for OpenSSL 3.4 & document+improve the update process (GH-127331)

- Add `git describe` output to headers generated by `make_ssl_data.py`

  This info is more important than the date when the file was generated.
  It does mean that the tool now requires a Git checkout of OpenSSL,
  not for example a release tarball.

- Regenerate the older file to add the info.
  To the other older file, add a note about manual edits.

- Add notes on how to add a new OpenSSL version

- Add 3.4 error messages and multissl tests

GH-127178: install a _sysconfig_vars_(...).json file in the stdlib directory (#127302)

GH-127154: Remove PGO and unknown-linux-gnu/clang from JIT CI (#127212)

gh-122288: Improve performances of `fnmatch.translate` (#122289)

Improve performance of this function by a factor of 1.7x.

Co-authored-by: Barney Gale <barney.gale@gmail.com>

gh-126882: Fix indentation in code sample block (#126887)

gh-123967: Fix faulthandler for trampoline frames (#127329)

If the top-most frame is a trampoline frame, skip it.

Fix indentation for contextlib.asynccontextmanager docs (#127333)

gh-124008: Fix calculation of the number of written bytes for the Windows console (GH-124059)

Since MultiByteToWideChar()/WideCharToMultiByte() is not reversible if
the data contains invalid UTF-8 sequences, use binary search to
calculate the number of written bytes from the number of written
characters.

Also fix writing incomplete UTF-8 sequences.

Also fix handling of memory allocation failures.

gh-109746: Fix race condition in test_start_new_thread_failed (GH-127299)

gh-127072: Remove outdated `socket.NETLINK_*` constants. (GH-127256)

Remove seriously outdated netlink constants.

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-115999: Add free-threaded specialization for `STORE_SUBSCR` (#127169)

The specialization only depends on the type, so no special thread-safety
considerations there.

STORE_SUBSCR_LIST_INT needs to lock the list before modifying it.

`_PyDict_SetItem_Take2` already internally locks the dictionary using a
critical section.

gh-69639: Add mixed-mode rules for complex arithmetic (C-like) (GH-124829)

"Generally, mixed-mode arithmetic combining real and complex variables should
be performed directly, not by first coercing the real to complex, lest the sign
of zero be rendered uninformative; the same goes for combinations of pure
imaginary quantities with complex variables." (c) Kahan, W: Branch cuts for
complex elementary functions.

This patch implements mixed-mode arithmetic rules, combining real and
complex variables as specified by C standards since C99 (in particular,
there is no special version for the true division with real lhs
operand).  Most C compilers implementing C99+ Annex G have only these
special rules (without support for imaginary type, which is going to be
deprecated in C2y).

gh-127285: Update PCbuild files for a number of missed changes (GH-127286)

gh-69639: Add mixed-mode rules for complex arithmetic (C-like) (GH-124829)

"Generally, mixed-mode arithmetic combining real and complex variables should
be performed directly, not by first coercing the real to complex, lest the sign
of zero be rendered uninformative; the same goes for combinations of pure
imaginary quantities with complex variables." (c) Kahan, W: Branch cuts for
complex elementary functions.

This patch implements mixed-mode arithmetic rules, combining real and
complex variables as specified by C standards since C99 (in particular,
there is no special version for the true division with real lhs
operand).  Most C compilers implementing C99+ Annex G have only these
special rules (without support for imaginary type, which is going to be
deprecated in C2y).