Amend categories of @nineteendo's news entries (#120735)

gh-119182: Rewrite PyUnicodeWriter tests in Python (#120845)

gh-119182: Add PyUnicodeWriter_DecodeUTF8Stateful() (#120639)

Add PyUnicodeWriter_WriteWideChar() and
PyUnicodeWriter_DecodeUTF8Stateful() functions.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-120811: Fix reference leak upon `_PyContext_Exit` failure (#120812)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-120782: Update internal type cache when reloading datetime (#120829)

gh-113993: Allow interned strings to be mortal, and fix related issues (GH-120520)

* Add an InternalDocs file describing how interning should work and how to use it.

* Add internal functions to *explicitly* request what kind of interning is done:
  - `_PyUnicode_InternMortal`
  - `_PyUnicode_InternImmortal`
  - `_PyUnicode_InternStatic`

* Switch uses of `PyUnicode_InternInPlace` to those.

* Disallow using `_Py_SetImmortal` on strings directly.
  You should use `_PyUnicode_InternImmortal` instead:
  - Strings should be interned before immortalization, otherwise you're possibly
    interning a immortalizing copy.
  - `_Py_SetImmortal` doesn't handle the `SSTATE_INTERNED_MORTAL` to
    `SSTATE_INTERNED_IMMORTAL` update, and those flags can't be changed in
    backports, as they are now part of public API and version-specific ABI.

* Add private `_only_immortal` argument for `sys.getunicodeinternedsize`, used in refleak test machinery.

* Make sure the statically allocated string singletons are unique. This means these sets are now disjoint:
  - `_Py_ID`
  - `_Py_STR` (including the empty string)
  - one-character latin-1 singletons

  Now, when you intern a singleton, that exact singleton will be interned.

* Add a `_Py_LATIN1_CHR` macro, use it instead of `_Py_ID`/`_Py_STR` for one-character latin-1 singletons everywhere (including Clinic).

* Intern `_Py_STR` singletons at startup.

* For free-threaded builds, intern `_Py_LATIN1_CHR` singletons at startup.

* Beef up the tests. Cover internal details (marked with `@cpython_only`).

* Add lots of assertions

Co-Authored-By: Eric Snow <ericsnowcurrently@gmail.com>

gh-120380: fix Python implementation of `pickle.Pickler` for `bytes` and `bytearray` objects in protocol version 5. (GH-120422)

gh-120773: document introspective attributes of an async generator object in the inspect module (#120778)

gh-120384: Fix array-out-of-bounds crash in `list_ass_subscript` (#120442)

GH-120804: Remove SafeChildWatcher, FastChildWatcher and MultiLoopChildWatcher from asyncio (#120805)

Remove SafeChildWatcher, FastChildWatcher and MultiLoopChildWatcher from asyncio. These child watchers have been deprecated since Python 3.12. The tests are also removed and some more tests will be added after the rewrite of child watchers.

gh-111259: Document idiomatic RE pattern (?s:.) that matches any character (GH-120745)

gh-119182: Use public PyUnicodeWriter in contextvar_tp_repr() (#120809)

The public PyUnicodeWriter API enables overallocation by default and
so is more efficient. It also makes the code simpler and shorter.

gh-119182: Optimize PyUnicode_FromFormat() (#120796)

Use strchr() and ucs1lib_find_max_char() to optimize the code path
formatting sub-strings between '%' formats.

gh-120801: Refactor importlib.metadata fixtures. (#120803)

These changes released with importlib_metadata 7.2.0.

gh-119182: Use public PyUnicodeWriter API in union_repr() (#120797)

The public PyUnicodeWriter API enables overallocation by default and
so is more efficient.

Benchmark:

python -m pyperf timeit \
    -s 't = int | float | complex | str | bytes | bytearray' \
       ' | memoryview | list | dict' \
    'str(t)'

Result:

1.29 us +- 0.02 us -> 1.00 us +- 0.02 us: 1.29x faster

gh-119182: Use public PyUnicodeWriter API in ga_repr() (#120799)

The public PyUnicodeWriter API enables overallocation by default and
so is more efficient.

Benchmark:

python -m pyperf timeit \
    -s 't = list[int, float, complex, str, bytes, bytearray, ' \
                 'memoryview, list, dict]' \
    'str(t)'

Result:

1.49 us +- 0.03 us -> 1.10 us +- 0.02 us: 1.35x faster

gh-120769: Add pdb meta command to print frame status. (#120770)

gh-117511: Make PyMutex public in the non-limited API (#117731)

gh-120780: Show attribute name for LOAD_SPECIAL in dis output (#120781)

gh-98442: fix locations of with statement's cleanup instructions (#120763)

gh-98442: fix location of with statement's cleanup instructions

gh-111259: Optimize complementary character sets in RE (GH-120742)

Patterns like "[\s\S]" or "\s|\S" which match any character are now compiled
to the same effective code as a dot with the DOTALL modifier ("(?s:.)").

gh-119698: symtable: Fix merge race (#120779)

gh-119698: fix `symtable.Class.get_methods` and document its behaviour correctly (#120151)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

Fix typos in comments (#120481)

GH-120602: Support LLVM_VERSION_SUFFIX for JIT builds (GH-120604)

gh-120606: Allow EOF to exit pdb commands definition (#120607)

gh-120732: Fix `name` passing to `Mock`, when using kwargs to `create_autospec` (#120737)

gh-118820: Zero-valued flag enum has no name (GH-118848)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

Regen ``Doc/requirements-oldest-sphinx.txt`` (#120753)

gh-120521: clarify except* documentation to allow tuples (#120523)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

gh-119786: move locations doc to InternalDocs (#120445)

GH-120097: Make FrameLocalsProxy a mapping (#120101)

* Register FrameLocalsProxy as a subclass of collections.abc.Mapping

* Allow FrameLocalsProxy to matching mapping patterns

GH-119462: Enforce invariants of type versioning (GH-120731)

* Remove uses of Py_TPFLAGS_VALID_VERSION_TAG

gh-120437: Fix `_CHECK_STACK_SPACE` optimization problems introduced in gh-118322 (GH-120712)

Co-authored-by: Ken Jin <kenjin4096@gmail.com>

Fix types in pegen parser generator (GH-120720)

gh-120733: rename internal compiler functions according to naming convention (#120734)

gh-120635: Avoid leaking processes in test_pyrepl (#120676)

If the child process takes longer than SHORT_TIMEOUT seconds to
complete, kill the process but then wait until it completes with no
timeout to not leak child processes.

gh-120722: Set position on RETURN_VALUE in lambda (#120724)

gh-119960: Add information about regex flags in re module functions (#119978)

gh-102797: Add more code snippets in test_ast (#102798)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Nineteendo <nineteendo19d0@gmail.com>

gh-120726: Fix compiler warnings on is_core_module() (#120727)

Fix compiler warnings on is_core_module() and
check_interpreter_whence(): only define them when
assertions are built.

Add a link to free-threading HOWTO to the index (follow-up to GH-119366) (GH-120703)

gh-120633: Move scrollbar and remove tear-off menus in turtledemo (#120634)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

GH-119726: Deduplicate JIT trampolines for out-of-range jumps (GH-120250)

Ignore some failing tests in emulated JIT CI (GH-120375)

GH-73991: Add follow_symlinks argument to `pathlib.Path.copy()` (#120519)

Add support for not following symlinks in `pathlib.Path.copy()`.

On Windows we add the `COPY_FILE_COPY_SYMLINK` flag is following symlinks is disabled. If the source is symlink to a directory, this call will fail with `ERROR_ACCESS_DENIED`. In this case we add `COPY_FILE_DIRECTORY` to the flags and retry. This can fail on old Windowses, which we note in the docs.

No news as `copy()` was only just added.

GH-73991: pathlib ABC tests: add `DummyPath.unlink()` and `rmdir()` (#120715)

In preparation for the addition of `PathBase.rmtree()`, implement
`DummyPath.unlink()` and `rmdir()`, and move corresponding tests into
`test_pathlib_abc` so they're run against `DummyPath`.

gh-120367: fix bug where compiler detects redundant jump after pseudo op replacement (#120714)

GH-73991: Use same signature for `shutil._rmtree_[un]safe()`. (#120517)

Preparatory work for moving `_rmtree_unsafe()` and `_rmtree_safe_fd()` to
`pathlib._os` so that they can be used from both `shutil` and `pathlib`.

Move implementation-specific setup from `rmtree()` into the safe/unsafe
functions, and give them the same signature `(path, dir_fd, onexc)`.

In the tests, mock `os.open` rather than `_rmtree_safe_fd()` to ensure the
FD-based walk is used, and replace a couple references to
`shutil._use_fd_functions` with `shutil.rmtree.avoids_symlink_attacks`
(which has the same value).

No change of behaviour.

gh-120688: Build WASI with -O3 in debug mode (#120691)

On WASI in debug mode, Python is now built with compiler flag -O3
instead of -Og, to support more recursive calls.

gh-119574: Add some missing environment variables to '--help-env'. (GH-120006)

gh-120417: Add #noqa: F401 to tests (#120627)

Ignore linter "imported but unused" warnings in tests when the linter
doesn't understand how the import is used.

gh-120496: Add a note about iterator thread-safe (gh-120685)

gh-117953: Skip `test_interpreters` properly without GIL (#120689)

gh-120417: Use import_helper() in test_regrtest (#120680)

gh-120449: fix ``test_pyclbr`` introspection for mangled names (GH-120450)

gh-120600: Make Py_TYPE() opaque in limited C API 3.14 (#120601)

In the limited C API 3.14 and newer, Py_TYPE() is now implemented as
an opaque function call to hide implementation details.

gh-118789: Add `PyUnstable_Object_ClearWeakRefsNoCallbacks` (#118807)

This exposes `PyUnstable_Object_ClearWeakRefsNoCallbacks` as an unstable
C-API function to provide a thread-safe mechanism for clearing weakrefs
without executing callbacks.

Some C-API extensions need to clear weakrefs without calling callbacks,
such as after running finalizers like we do in subtype_dealloc.
Previously they could use `_PyWeakref_ClearRef` on each weakref, but
that's not thread-safe in the free-threaded build.

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-120659: Skip `test_freethreading` with GIL (#120660)

gh-120417: Move imports to doctests in test_doctest (#120679)

gh-119241: Add HOWTO for free-threaded C API extensions (#119877)

Some sections adapted from https://github.com/Quansight-Labs/free-threaded-compatibility/
written by Nathan Goldbaum.

Co-authored-by: Nathan Goldbaum <nathan.goldbaum@gmail.com>

gh-120381: Fix inspect.ismethoddescriptor() (#120383)

The `inspect.ismethoddescriptor()` function did not check for the lack of
`__delete__()` and, consequently, erroneously returned True when applied
to *data* descriptors with only `__get__()` and `__delete__()` defined.

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Alyssa Coghlan <ncoghlan@gmail.com>

gh-120674: Protect multi-line macros in _testbuffer.c and _testcapimodule.c (#120675)

Add do { ... } while (0) pattern.

gh-120662: Improve `smtplib` example (#120668)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

No longer watch the queue module, remove rhettinger (#120664)

GH-120507: Lower the `BEFORE_WITH` and `BEFORE_ASYNC_WITH` instructions. (#120640)

* Remove BEFORE_WITH and BEFORE_ASYNC_WITH instructions.

* Add LOAD_SPECIAL instruction

* Reimplement `with` and `async with` statements using LOAD_SPECIAL

gh-119897: Add test for lambda generator invocation (#120658)

gh-120467: Add test for lambda generator invocation

gh-120590: Fix test_pydoc in the refleak hunting mode (GH-120615)

Mocking only works if sys.modules['pydoc'] and pydoc are the same,
but some pydoc functions reload the module and change sys.modules.
Ensure that sys.modules['pydoc'] is always restored after the corresponding
tests.

gh-120560: Mark `zip64` tests in `test_zipimport` as CPU-heavy (GH-120564)

gh-120417: Remove unused imports in cases_generator (#120622)

gh-120524: Avoid a Race On _PyRuntime.types.managed_static.types[i].interp_count (gh-120529)

gh-120182 added new global state (interp_count), but didn't add thread-safety for it.  This change eliminates the possible race.

gh-120417: Modify test_bdb to use the import (#120628)

Run test_module_for_bdb with a specific namespace.

gh-120417: Remove unused imports in tests (part 1) (#120629)

gh-120417: Remove unused imports in tests (part 2) (#120630)

gh-120417: Remove unused imports in tests (part 3) (#120631)

gh-117657:  Fix `__slots__` thread safety in free-threaded build (#119368)

Fix a race in `PyMember_GetOne` and `PyMember_SetOne` for `Py_T_OBJECT_EX`.
These functions implement `__slots__` accesses for Python objects.

gh-117657: Fix TSan reported data race on ioctl_works (#120175)

gh-120417: Remove unused imports in Tools (#120623)

gh-120507: Double WASI memory (#120648)

Use 16 MiB stack with 40 MiB memory limit, instead of 8 MiB stack
with 20 MiB memory limit.

fix enum doc typo (#120091)

gh-115649: Copy the filename into main interpreter before intern in import.c (#120315)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-120433: Mention ``chocolatey`` for installing llvm on Windows as an alternative option (#120434)

gh-120417: Remove unused imports in tests (part 4) (#120632)

 gh-119182: Add PyUnicodeWriter C API (#119184)

gh-114091: Reword error message for unawaitable types (#114090)

Reword error message for unawaitable types.

Update the documentation howto index page and group docs into 3 logical sections (GH-119366)

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>

gh-119933: Improve ``SyntaxError`` message for invalid type parameters expressions (#119976)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-120619: Clean up `RETURN_VALUE` instruction (GH-120624)

* Rename _POP_FRAME to _RETURN_VALUE as it returns a value as well as popping a frame.

* Remove remaining _POP_FRAMEs

itertools doc: examples for groupby() and tee() (#120618)

gh-120196: Reuse find_max_char() for bytes objects (#120497)

gh-120367: fix removal of redundant NOPs and jumps after reordering hot-cold blocks (#120425)

gh-83754: Use the Py_TYPE() macro (#120599)

Don't access directly PyObject.ob_type, but use the Py_TYPE() macro
instead.

gh-120586: Fix several "unused function" warnings in `posixmodule.c` (#120588)

gh-112346: Document the OS byte in `gzip.compress` output change in 3.11 (#120480)

gh-112346: Describe the "os" byte in gzip output change.

gh-120567: Clarify weekday return in calendar.monthrange docstring (#120570)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-118596: Add thread-safety clarifications to the SSLContext documentation (#118597)

Add thread-safety clarifications to the SSLContext documentation. Per the issue:

This issue has also come up [here](https://github.com/psf/requests/pull/6667) where the matter was clarified by @tiran in [this comment](https://github.com/psf/requests/pull/6667):
> `SSLContext` is designed to be shared and used for multiple connections. It is thread safe as long as you don't reconfigure it once it is used by a connection. Adding new certs to the internal trust store is fine, but changing ciphers, verification settings, or mTLS certs can lead to surprising behavior. The problem is unrelated to threads and can even occur in a single-threaded program.

gh-120568: fix file leak in PyUnstable_CopyPerfMapFile (#120569)

gh-120584: Fix "unused thread_critical_sections" warning in `test_critical_sections` (#120585)

Docs: remove temporary hardcoded links (#120348)

gh-120485: Add an override of `allow_reuse_port` on classes subclassing `socketserver.TCPServer` (GH-120488)

Co-authored-by: Vinay Sajip <vinay_sajip@yahoo.co.uk>