gh-129813, PEP 782: Use PyBytesWriter in _hashopenssl (#138922)

Replace PyBytes_FromStringAndSize(NULL, size) with the new public
PyBytesWriter API.

gh-37817: Allow assignment to __bases__ of direct subclasses of builtin classes (GH-137585)

gh-134953: Make the True/False/None check more efficient (GH-138931)

gh-128636: Fix crash in PyREPL when os.environ is overwritten with an invalid value for macOS (GH-138089)

Signed-off-by: yihong0618 <zouzou0208@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-132732: Clear errors in JIT optimizer on error (GH-136048)

gh-138239: Fix incorrect highlighting of "type" in type statements in the REPL (GH-138241)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-137490: Fix signal.sigwaitinfo() on NetBSD (GH-137523)

Handle ECANCELED in the same way as EINTR to work around the Posix
violation in the NetBSD's implementation.

GH-132732: Remove textwrap import (#138933)

GH-132732: Use pure op machinery to optimize various instructions with `_POP_TOP` and `_POP_TWO`  (#137577)

gh-137992: fix `PyRefTracer_SetTracer` to start world before returning  (#138925)

fix deadlock in PyRefTracer_SetTracer

gh-138712: Add os.NODEV (GH-138728)

gh-134953: Expand theming for `True`/`False`/`None` (#135000)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-129813, PEP 782: Use PyBytesWriter in _codecs.escape_decode() (#138919)

Replace PyBytes_FromStringAndSize(NULL, size) and _PyBytes_Resize()
with the new public PyBytesWriter API.

gh-129813, PEP 782: Use PyBytesWriter in _curses (#138920)

Replace PyBytes_FromStringAndSize(NULL, size) and _PyBytes_Resize()
with the new public PyBytesWriter API.

gh-129813, PEP 782: Init small_buffer in PyBytesWriter_Create() (#138924)

Fill small_buffer with 0xFF byte pattern to detect the usage of
uninitialized bytes in debug build.

gh-129813, PEP 782: Use PyBytesWriter in fcntl (#138921)

Replace PyBytes_FromStringAndSize(NULL, size) with the new public
PyBytesWriter API.

Don't build the fcntl with the limited C API anymore, since
the PyBytesWriter API is not part of the limited C API.

gh-138779: Use the dev_t converter for st_rdev (GH-138780)

This allows to support device numbers larger than 2**63-1.

gh-137956: Guard against non-free-threaded extensions in free-threaded builds (GH-137957)

gh-137017: Ensure `Thread.is_alive()` only returns False after the underlying OS thread exits (gh-137315)

gh-138902: Fix generator send arg name (#138905)

Co-authored-by: marat <khagazheev@artlebedev.ru>

gh-137992: Stop the world when calling PyRefTracer_SetTracer (#137994)

gh-129813, PEP 782: Use PyBytesWriter in _PyBytes_FormatEx() (#138839)

Replace the private _PyBytesWriter API with the new public
PyBytesWriter API.

gh-138794: Communicate to PyRefTracer when they are being replaced (#138797)

gh-138886: Remove deprecated `PySys_ResetWarnOptions` C-API function (#138887)

Fix typo in stack_protection.md (GH-138876)

gh-138871: Clarify NameError exception in 'del' (#138881)

gh-135953: Reduce memory usage of stack collectors (#138875)

The stack collector base class keeps all frames until export() is
called, which causes significant unnecessary memory usage. Instead, we
can process the frames on the fly in the collect call by dispatching the
aggregation logic to the subclass through the process_frames method.

Co-authored-by: Pablo Galindo Salgado <pablogsal@gmail.com>

gh-135953: Prevent overflow in the profiler flamegraph hover boxes (#138880)

gh-136355: Deprecate `-b` and `-bb` CLI flags in 3.15 (#136363)

Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

gh-71810: Fix _PyLong_AsByteArray() undefined behavior (#138873)

Don't read p[-1] when p is an empty string: when n==0.

gh-129813, PEP 782: Use PyBytesWriter in lzma and zlib (#138832)

Replace PyBytes_FromStringAndSize(NULL, size) with the new public
PyBytesWriter API.

gh-129813, PEP 782: Use PyBytesWriter in _PyBytes_FromList() (#138837)

Use the new public PyBytesWriter API in:

* _PyBytes_FromHex()
* _PyBytes_FromBuffer()
* _PyBytes_FromList()
* _PyBytes_FromTuple()
* _PyBytes_FromIterator()

Add _PyBytesWriter_ResizeAndUpdatePointer() and
_PyBytesWriter_GetAllocated() helper functions.

gh-129813, PEP 782: Use PyBytesWriter in posix extension (#138829)

Replace PyBytes_FromStringAndSize(NULL, size) and _PyBytes_Resize()
with the new public PyBytesWriter API.

gh-129813, PEP 782: Use PyBytesWriter in memoryview (#138836)

Replace PyBytes_FromStringAndSize(NULL, size) with the new public
PyBytesWriter API.

gh-129813, PEP 782: Use PyBytesWriter in socket and mmap (#138831)

Replace PyBytes_FromStringAndSize(NULL, size) and _PyBytes_Resize()
with the new public PyBytesWriter API.

gh-129813, PEP 782: Use Py_GetConstant(Py_CONSTANT_EMPTY_BYTES) (#138830)

Replace PyBytes_FromStringAndSize(NULL, 0) with
Py_GetConstant(Py_CONSTANT_EMPTY_BYTES). Py_GetConstant() cannot
fail.

gh-129813, PEP 782: Use PyBytesWriter in _PyBytes_DecodeEscape2() (#138838)

Replace the private _PyBytesWriter API with the new public
PyBytesWriter API.

gh-129813, PEP 782: Use PyBytesWriter in pickle and struct (#138833)

Replace the private _PyBytesWriter API with the new public
PyBytesWriter API.

gh-129813, PEP 782: Use PyBytesWriter in binascii (#138825)

Replace the private _PyBytesWriter API with the new public
PyBytesWriter API.

GH-128520: pathlib ABCs: improve protocol for 'openable' objects (#134101)

Rename `pathlib._os.magic_open()` to `vfsopen()`. The new name is a bit
less abstract, and it aligns with the `vfspath()` method added in 5dbd27d.

Per discussion on discourse[^1], adjust `vfsopen()` so that the following
methods may be called:

- `__open_reader__()`
- `__open_writer__(mode)`
- `__open_updater__(mode)`

These three methods return readable, writable, and full duplex file objects
respectively. In the 'writer' method, *mode* is either 'a', 'w' or 'x'. In
the 'updater' method, *mode* is either 'r' or 'w'.

In the pathlib ABCs, replace `ReadablePath.__open_rb__()` with
`__open_reader__()`, and replace `WritablePath.__open_wb__()` with
`__open_writer__()`.

[^1]: https://discuss.python.org/t/open-able-objects/90238

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-71648: Optimize PNG files (GH-138842)

* Only keep > 1 kb savings

gh-138804: Check type in `shlex.quote` (GH-138809)

gh-71648: Remove unused image `Doc/faq/python-video-icon.png` (GH-138841)

gh-129813, PEP 782: Use PyBytesWriter in _hashopenssl (#138835)

Replace PyBytes_FromStringAndSize(NULL, size) with the new public
PyBytesWriter API.

gh-138661: fix data race in `PyCode_Addr2Line` (#138664)

gh-129813, PEP 782: Add PyBytesWriter_Format() (#138824)

Modify PyBytes_FromFormatV() to use the public PyBytesWriter API
rather than the _PyBytesWriter private API.

Improve permission error messages in pdb and asyncio.tools (#134290)

gh-129813, PEP 782: Add PyBytesWriter C API (#138822)

gh-138756: Fix leak of inittab memory in PyInitConfig_Free() (GH-138792)

gh-138163: skip failures if tests are run with `SCHED_BATCH` on glibc (GH-138576)

gh-138669: Increase test coverage for difflib (GH-138670)

gh-138801: re-enable `pyrepl` tests on Windows (#138802)

Remove unused prototype `_PyPegen_set_source_in_metadata` (#138810)

Remove unused prototype

Revert "gh-116946: fully implement GC protocol for `_tkinter.Tk{app,tt}Object` (#138331)" (#138807)

This reverts commit 283380a9417eebf1bf9d3a1e941cef94149712bb.

closes gh-138706: update Unicode to 17.0.0 (#138719)

gh-138005: Document that CSV `skipinitialspace=True` and `delimiter=' '` require quotation for empty fields (#138006)

gh-116738: add multi-threaded tests for `resource` module on free-threading builds (#138504)

gh-138704: Add PermissionError messages to profiling.sampling (#138705)

gh-116946: fully implement GC protocol for `_tkinter.Tk{app,tt}Object` (#138331)

gh-138756: Fix memory leak in PyInitConfig_Free() (#138759)

Clear also memory of PyConfig members.

gh-138013: Move I/O test infrastructre to test_io.utils (#138475)

This moves test support code to `test_io.utils` via copy/paste
code movement then adjusts imports as needed
(remove unneded + add all required).

gh-138479: Ensure that `__typing_subst__` returns a tuple (GH-138482)

Raise an exception if __typing_subst__ returns a non-tuple object.

---------

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-71810: Fix corner case (length==0) for int.to_bytes() (#138739)

```pycon
>>> (0).to_bytes(0, 'big', signed=True)
b''
>>> (-1).to_bytes(0, 'big', signed=True)  # was b''
Traceback (most recent call last):
  File "<python-input-0>", line 1, in <module>
    (-1).to_bytes(0, 'big', signed=True)
    ~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^
OverflowError: int too big to convert
```

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-138081: fix some dead links in InternalDocs (#138082)

gh-116946: add `Py_TPFLAGS_IMMUTABLETYPE` to several internal types (#138582)

The following types are now immutable:

* `_curses_panel.panel`,
* `[posix,nt].ScandirIterator`, `[posix,nt].DirEntry` (exposed in `os.py`),
* `_remote_debugging.RemoteUnwinder`,
* `_tkinter.Tcl_Obj`, `_tkinter.tkapp`, `_tkinter.tktimertoken`,
* `zlib.Compress`, and `zlib.Decompress`.

gh-138432: Improved invalid path checking in zoneinfo.reset_tzpath() (GH-138433)

* Improve error messages for path-like relative paths and path-like bytes paths.
* TZPATH is now always a tuple of strings.

GH-138562: Remove ``sort()`` from the common sequence methods in the data model (#138563)

gh-138744: GitHub Actions: pin to `windows-2022` (#138743)

gh-138349: Fix crash when combining module-level annotation and listcomp (#138363)

gh-138729: Cover `inspect.formatannotationrelativeto` with tests (#138730)

gh-138716: Fix `assert a := b` syntax error message (#138718)

gh-138008: Fix segfaults in _ctypes due to invalid argtypes (GH-138285)

Signed-off-by: Nguyen Viet Dung <29406816+magnified103@users.noreply.github.com>
Signed-off-by: Nguyen Viet Dung <dung@ekluster.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Yongzi Li <204532581+Yzi-Li@users.noreply.github.com>

gh-136006: fix `Py_NAN` expansion on Solaris systems (#136575)

On Solaris, `Py_NAN` may expand as a function address instead of a floating-point number.
This amends commit 7a3b03509e5e3e72d8c47137579cccb52548a318.

gh-134531: use `EVP_MAC` API for `_hashlib.HMAC` when possible (#135235)

Use `EVP_MAC` API for HMAC on builds with OpenSSL 3.0 or later.

gh-137371: refactor and fortify `test.support.hashlib_helper` (#137375)

gh-138230: Remove dead code in code gen - codegen_check_annotation is only calle… (#138228)

Remove dead code in code gen - codegen_check_annotation is only called if future annotations are enabled, and if future annotations are enabled it does nothing.

gh-135953: Fix refleak in cache method (#138721)

gh-135953: Add flamegraph reporter to sampling profiler (#138715)

gh-136616: Improve `assert` syntax error messages (#136653)

gh-85076: Document exceptions that can be raised by importlib.import_module (GH-94662)

gh-88886: Remove excessive encoding name normalization (GH-137167)

The codecs lookup function now performs only minimal normalization of
the encoding name before passing it to the search functions:
all ASCII letters are converted to lower case, spaces are replaced
with hyphens.

Excessive normalization broke third-party codecs providers, like
python-iconv.

Revert "bpo-37751: Fix codecs.lookup() normalization (GH-15092)"

This reverts commit 20f59fe1f7748ae899aceee4cb560e5e1f528a1f.

gh-138535: Pass directly state to posix fill_time() (#138693)

Pass directly the module state instead of passing the module to avoid
a call to get_posix_state().

gh-133143: Use _Py_ID for the other literals in sys (GH-138698)

Follow-up refactoring after GH-133143, where we use `_Py_ID` for "big" and "little"
in `abi_info.byteorder`.
This uses `_Py_ID` for `sys.byteorder`, but also `float_repr_style` and a module name.

gh-138577: Mention Unix-specific limitations of `getpass.getpass(echo_char=...)` (#138677)

In bf8bbe9a813dd9fc2dd14be06df172b7d26ca1af, `getpass.getpass` gained
the ability to provide keyboard feedback through `echo_char`.

On Unix, line editing shortcuts such as Ctrl+U were previously handled
as the terminal operates in canonical mode (see termios(3)). However,
since keyboard feedback requires to switch to noncanonical mode, this
now results in an inconsistency when `getpass.getpass` uses `echo_char`
as those shortcuts are no more supported. This limitation is specific
to Unix and does not affect Windows users where line editing shortcuts
were never supported.

Add impl-detail block for PyLong_FromLong docs (#126422)

Co-authored-by: Brian Schubert <brianm.schubert@gmail.com>

gh-138535: Optimize fill_time for typical timestamps (#138537)

While file timestamps can be anything the file system can store, most
lie between the recent past and the near future.  Optimize fill_time()
for typical timestamps in three ways:

- When possible, convert to nanoseconds with C arithmetic.
- When using C arithmetic and the seconds member is not required (for
  st_birthtime), avoid creating a long object.
- When using C arithmetic, reorder the code to avoid the null checks
  implied in Py_XDECREF().

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-137838: Fix JIT trace buffer overrun by increasing possible exit stubs (gh-138177)

gh-138385: Sample all interpreters in the tachyon profiler (#138398)

gh-137242: Add a --no-randomize option, and use it in Android CI (#138649)

Adds a --no-randomize option to the CI runner, so that randomisation can be easily
disabled for --fast-ci and --slow-ci configurations on single-threaded testing platforms
like Android, iOS, and Emscripten.

---------

Co-authored-by: Malcolm Smith <smith@chaquo.com>

GH-101100: Remove some entries from ``nitpick_ignore`` (#138464)

gh-138679: Opcodes which consume no inputs should indicate they produced the val… (#138678)

Opcodes which consume no inputs should indicate they produced the value, not an arbitrary local

gh-101100: Resolve reference warnings in reference/ (#138418)

gh-133143: Condense the implementation for ``sys.abi_info`` (#138672)

gh-133879: Improve consistency of full stops and whitespace in What's New (#138635)

gh-136234: Fix `SelectorSocketTransport.writelines` to be robust to connection loss (#136743)

gh-138665: Move `platform.invalidate_caches` docs (#138667)

gh-133143: Add sys.abi_info (GH-137476)

This makes information about the interpreter ABI more accessible.

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-138659: Typo in the gc module docstring (#138660)

docs(gc): fix typo in get_threshold() docstring

Removes a duplicate "the" from the docstring for the `gc.get_threshold()` function.

gh-138644: Update c-api docs of `PyInterpreterState` about PEP-684 (#138651)

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

gh-57911: Fix failing symlink test in tarfile (GH-138626)