GH-109975: Copyedit 3.13 What's New: Improved Modules (#123132)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

Docs: Fix Makefile syntax (#123287)

gh-123243: Fix reference leak in `_decimal` (#123244)

gh-117376: Make `Py_DECREF` a macro in ceval.c in free-threaded build (#122975)

`Py_DECREF` and `PyStackRef_CLOSE` are now implemented as macros in the
free-threaded build in ceval.c. There are two motivations;

 * MSVC has problems inlining functions in ceval.c in the PGO build.

 * We will want to mark escaping calls in order to spill the stack
   pointer in ceval.c and we will want to do this around `_Py_Dealloc`
   (or `_Py_MergeZeroLocalRefcount` or `_Py_DecRefShared`), not around
   the entire `Py_DECREF` or `PyStackRef_CLOSE` call.

gh-123205: `Python/bytecodes.c`: Fix compiler warning (#123206)

Fix MSVC warning "conversion from '__int64' to 'int'"

GH-73991: Disallow copying directory into itself via `pathlib.Path.copy()` (#122924)

gh-121404: more compiler_* -> codegen_*, class_body and comprehensions (#123262)

Fix typo mentioning threads instead of tasks (#123203)

gh-122272: Guarantee specifiers %F and %C for datetime.strftime to be 0-padded (GH-122436)

GH-122298: Restore printing of GC stats (GH-123261)

gh-123229: Fix valgrind warning by initializing the f-string buffers to 0 in the tokenizer (#123263)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>

GH-123232: Fix "not specialized" stats (GH-123236)

gh-121404: compiler_annassign --> codegen_annassign (#123245)

GH-123040: Specialize shadowed `LOAD_ATTR`. (GH-123219)

gh-123213: Fixed xml.etree.ElementTree.Element.extend and assignment to no longer hide exceptions (GH-123214)

GH-99108: Amend Modules/Setup (#123146)

gh-122546: Relax SyntaxError check when raising errors on the new REPL (#123233)

gh-123083: Fix a potential use-after-free in ``STORE_ATTR_WITH_HINT`` (gh-123092)

gh-121404: remove redundant c_nestlevel. more compiler abstractions. more macro usage consistency (#123225)

gh-123165: correct tests for `dis.dis(func, show_positions=True)` (#123220)

GH-123197: Only count an instruction as deferred if it hasn't deopted first. (GH-123222)

Only count an instruction as deferred if hasn't deopted first.

gh-122546: use same filename for different exceptions in new repl (#123217)

* gh-122546: use same filename for different exceptions in new repl

* +1

GH-118093: Specialize calls to non-vectorcall classes as `CALL_NON_PY_GENERAL` (GH-123212)

Specialize classes without vectorcall as CALL_NON_PY_GENERAL

gh-122712: Test `CALL_ALLOC_AND_ENTER_INIT` handles reassignment of `__code__` (GH-122713)

gh-123142: Fix too wide source locations in tracebacks of exceptions from broken iterables in comprehensions (#123173)

GH-115776: Allow any fixed sized object to have inline values (GH-123192)

gh-121404: split fblock handling into compiler_* and codegen_* parts (#123199)

gh-123165: make `dis` functions render positions on demand (#123168)

Fix typos in comments (#123201)

GH-123197: Increment correct stat for CALL_KW (GH-123200)

GH-123185: Check for `NULL` after calling `_PyEvalFramePushAndInit` (GH-123194)

gh-85110: Preserve relative path in URL without netloc in urllib.parse.urlunsplit() (GH-123179)

gh-123084: Turn `shutil.ExecError` into a deprecated alias of `RuntimeError` (#123125)

gh-122981: Fix inspect.getsource() for generated classes with Python base classes (GH-123001)

Look up __firstlineno__ only in the class' dict, without searching in
base classes.

GH-118093: Make `CALL_ALLOC_AND_ENTER_INIT` suitable for tier 2. (GH-123140)

* Convert CALL_ALLOC_AND_ENTER_INIT to micro-ops such that tier 2 supports it

* Allow inexact arguments for CALL_ALLOC_AND_ENTER_INIT.

gh-123048: Fix missing source location in pattern matching code (#123167)

gh-122909: Pass ftp error strings to URLError constructor (#122913)

* pass the original string error message from the ftplib error to URLError()

* Update request.py

Change error string for ftp error to be consistent with other errors reported for ftp

* Add NEWS entry for change to urllib.request for ftp errors.

* Track the change in the ftp error message in the test.

gh-109975: Copyedit What's New in Python 3.13 (#123150)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-123149: Suppress verbose repr in new REPL (#123151)

gh-123123: Fix display of syntax errors covering multiple lines (#123131)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>

gh-121404: rename functions to use codegen_* prefix. Use macros more consistently. (#123139)

gh-121804: Always show error location for SyntaxError's in new repl (#121886)

gh-121404: pass metadata to compiler_enter_scope (optionally) so that codegen functions don't need to set it on the code unit (#123078)

gh-122081: fixed crash in decimal.IEEEContext() (#122082)

* gh-122081: fixed crash in decimal.IEEEContext()

Now

$ ./configure CFLAGS=-DEXTRA_FUNCTIONALITY -q && make -s && \
     ./python -m test test_decimal

- PASS

* Apply suggestions from code review

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
* Update Misc/NEWS.d/next/Library/2024-07-21-10-45-24.gh-issue-122081.dNrYMq.rst

* Apply suggestions from code review

---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-123049: configparser: Allow to create the unnamed section from scratch. (#123077)

---------

Co-authored-by: Jason R. Coombs <jaraco@jaraco.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-116789: Add more tests for `inspect.getmembers` (#116802)

gh-123110: correct note about _Bool in the struct module docs (GH-123111)

gh-82378 fix sys.tracebacklimit in pyrepl, approach 2 (#123062)

Make sure that pyrepl uses the same logic for sys.tracebacklimit as both
the basic repl and the standard sys.excepthook

Docs: Run ``latexmk`` in parallel when creating PDFs (#123113)

gh-123022: Fix crash with  `Py_Initialize` in background thread (#123052)

Check that the current default heap is initialized in
`_mi_os_get_aligned_hint` and `mi_os_claim_huge_pages`.

The mimalloc function `_mi_os_get_aligned_hint` assumes that there is an
initialized default heap. This is true for our main thread, but not for
background threads. The problematic code path is usually called during
initialization (i.e., `Py_Initialize`), but it may also be called if the
program allocates large amounts of memory in total.

The crash only affected the free-threaded build.

gh-122974: Suppress GCC array bound warnings in free-threaded build (#123071)

GCC 11 and newer warn about the access to `unique_id` in non-debug builds
due to inlining the call on static non-heap types.

gh-123067: Fix quadratic complexity in parsing "-quoted cookie values with backslashes (GH-123075)

This fixes CVE-2024-7592.

GH-109975: Copyedit 3.13 What's New: Other Language Changes (#123086)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-121477: mention new PyLong_*Bytes() functions in PyLong_FromString() (#121478)

* gh-121477: mention new PyLong_*Bytes() functions in PyLong_FromString()

* Update Doc/c-api/long.rst

---------

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

fix typo in dis.rst (#121612)

Remove unneeded verb in the phrase in sys.rst (#122718)

gh-122519: Adding socket module shutdown() constants description (#122543)

gh-122681: remove m_atan2()/c_atan2() helpers (#122715)

gh-123087: ``Lib/test/test_unittest/testmock/testasync.py``: Replace usage of the deprecated ``asyncio.iscoroutinefunction`` with the ``inspect.iscoroutinefunction`` (#123088)

asyncio.iscoroutinefunction -> inspect.iscoroutinefunction

GH-120754: Disable buffering in Path.read_bytes (#122111)

`Path.read_bytes()` is used to read a whole file. buffering /
BufferedIO is focused around making small, possibly interleaved,
read/write efficient which doesn't add value in this case.

On my Mac, running the benchmark:

```python
import pyperf
from pathlib import Path

def read_all(all_paths):
    for p in all_paths:
        p.read_bytes()

def read_file(path_obj):
    path_obj.read_bytes()

all_rst = list(Path("Doc").glob("**/*.rst"))
all_py = list(Path(".").glob("**/*.py"))
assert all_rst, "Should have found rst files"
assert all_py, "Should have found python source files"

runner = pyperf.Runner()
runner.bench_func("read_file_small", read_file, Path("Doc/howto/clinic.rst"))
runner.bench_func("read_file_large", read_file, Path("Doc/c-api/typeobj.rst"))
```

before:
```python
.....................
read_file_small: Mean +- std dev: 6.80 us +- 0.07 us
.....................
read_file_large: Mean +- std dev: 10.8 us +- 0.2 us
````

after:
```python
.....................
read_file_small: Mean +- std dev: 5.67 us +- 0.05 us
.....................
read_file_large: Mean +- std dev: 9.77 us +- 0.52 us
```

gh-118658: Return consistent types from `get_un/verified_chain` in `SSLObject` and `SSLSocket` (#118669)

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

GH-118093: Specialize `CALL_KW` (GH-123006)

gh-121404: rename compiler_addop* to codegen_addop*, and replace direct usages by the macros (#123043)

mention pypy somewhat more prominently in the pyrepl section of whatsnew (#123063)

gh-123046: Fix regexp to catch cases where the module name is omitted from the weakref repr (#123047)

Co-authored-by: sobolevn <mail@sobolevn.me>

gh-116622: Add Android test script (#121595)

Adds a script for running the test suite on Android emulator devices. Starting
with a fresh install of the Android Commandline tools; the script manages
installing other requirements, starting the emulator (if required), and
retrieving results from that emulator.

gh-116608: Apply style and compatibility changes from importlib_metadata. (#123028)

Add debug offsets for free threaded builds (#123041)

GH-121634: have `wasi.py` accept the host target triple as an argument (GH-123030)

gh-117139: Garbage collector support for deferred refcounting (#122956)

The free-threaded GC now visits interpreter stacks to keep objects
that use deferred reference counting alive.

Interpreter frames are zero initialized in the free-threaded GC so
that the GC doesn't see garbage data. This is a temporary measure
until stack spilling around escaping calls is implemented.

Co-authored-by: Ken Jin <kenjin@python.org>

gh-122584: Import mimalloc headers in a C++ context (#122587)

gh-113190: Reenable non-debug interned string cleanup (GH-113601)

gh-121404: split compiler's push/pop_inlined_comprehension_state into codegen and compiler parts (#123021)

gh-99108: Inform HACL when explicit_bzero is unavailable (GH-123027)

Inform HACL whether explicit_bzero is available

GH-109975: Copyedit 3.13 What's New: New Features (#122990)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

GH-103484: Tell linkcheck to ignore debian manpage redirects (#123019)

gh-112301: Add warning count to warning check tooling (#122711)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-123005: Add version added in enum.Flag.__len__ (GH-123007)

GH-118093: Turn some DEOPT_IFs into EXIT_IFs (GH-122998)

GH-113464: Speed up JIT builds (GH-122839)

gh-122965: Fix `reusable-change-detection.yml` on `workflow_dispatch` (#122966)

GH-120024: Remove `CHECK_EVAL_BREAKER` macro. (GH-122968)

* Factor some instructions into micro-ops to isolate CHECK_EVAL_BREAKER for escape analysis

* Eliminate CHECK_EVAL_BREAKER macro

Fix doctrees directory for the gettext builder (#122997)

 gh-111178: Avoid calling long_hash from incompatible pointer type (GH-122972)

Make `long_hash` compatible with `hashfunc`.

gh-122985: add SYMBOL_TO_SCOPE macro in symtable (#122986)

Ensure that iOS test re-runs don't try to spawn a process. (#122994)

Adds the --single-process option to the iOS test runner to ensure re-runs execute in the same process.

Add a --rerun option to the iOS testbed. (#122992)

Enable --rerun when running tests on iOS.

GH-121723: Skip test_config_queue_handler_multiprocessing_context in emulated JIT CI (#122969)

gh-99108: Add HACL* Blake2 implementation to hashlib (GH-119316)

This replaces the existing hashlib Blake2 module with a single implementation that uses HACL\*'s Blake2b/Blake2s implementations. We added support for all the modes exposed by the Python API, including tree hashing, leaf nodes, and so on. We ported and merged all of these changes upstream in HACL\*, added test vectors based on Python's existing implementation, and exposed everything needed for hashlib.

This was joint work done with @R1kM.

See the PR for much discussion and benchmarking details.   TL;DR: On many systems, 8-50% faster (!) than `libb2`, on some systems it appeared 10-20% slower than `libb2`.

gh-122907: Fix Builds Without HAVE_DYNAMIC_LOADING Set (gh-122952)

As of 529a160 (gh-118204), building with HAVE_DYNAMIC_LOADING stopped working.  This is a minimal fix just to get builds working again.  There are actually a number of long-standing deficiencies with HAVE_DYNAMIC_LOADING builds that need to be resolved separately.

GH-85633: Fix pathlib test failures on filesystems without world-write. (#122883)

Replace `umask(0)` with `umask(0o002)` so the created files are not
world-writable, and replace `umask(0o022)` with `umask(0o026)` to check
that permissions for 'others' can still be set.

Fix `print` usage in `turtle` doctests (#122940)

gh-122873: Allow "python -m json" to work (#122884)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Alyssa Coghlan <ncoghlan@gmail.com>

GH-109975: Copyedit 3.13 What's New: Release Highlights (#122958)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

GH-122390: Replace `_Py_GetbaseOpcode` with `_Py_GetBaseCodeUnit` (GH-122942)

GH-122821: Simplify compilation of while statements to ensure consistency of offsets for sys.monitoring (GH-122934)

GH-122578: update to WASI SDK 24 (GH-122960)

GH-118093: Handle some polymorphism before requiring progress in tier two (GH-122843)

gh-117482: Make the Slot Wrapper Inheritance Tests Much More Thorough (gh-122867)

There were a still a number of gaps in the tests, including not looking
at all the builtin types and not checking wrappers in subinterpreters
that weren't in the main interpreter. This fixes all that.

I considered incorporating the names of the PyTypeObject fields
(a la gh-122866), but figured doing so doesn't add much value.

gh-117139: Replace _PyList_FromArraySteal with stack ref variant (#122830)

This replaces `_PyList_FromArraySteal` with `_PyList_FromStackRefSteal`.
It's functionally equivalent, but takes a `_PyStackRef` array instead of
an array of `PyObject` pointers.

Co-authored-by: Ken Jin <kenjin@python.org>