gh-123022: Fix crash with  `Py_Initialize` in background thread (#123052)

Check that the current default heap is initialized in
`_mi_os_get_aligned_hint` and `mi_os_claim_huge_pages`.

The mimalloc function `_mi_os_get_aligned_hint` assumes that there is an
initialized default heap. This is true for our main thread, but not for
background threads. The problematic code path is usually called during
initialization (i.e., `Py_Initialize`), but it may also be called if the
program allocates large amounts of memory in total.

The crash only affected the free-threaded build.

gh-122974: Suppress GCC array bound warnings in free-threaded build (#123071)

GCC 11 and newer warn about the access to `unique_id` in non-debug builds
due to inlining the call on static non-heap types.

gh-123067: Fix quadratic complexity in parsing "-quoted cookie values with backslashes (GH-123075)

This fixes CVE-2024-7592.

GH-109975: Copyedit 3.13 What's New: Other Language Changes (#123086)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-121477: mention new PyLong_*Bytes() functions in PyLong_FromString() (#121478)

* gh-121477: mention new PyLong_*Bytes() functions in PyLong_FromString()

* Update Doc/c-api/long.rst

---------

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

fix typo in dis.rst (#121612)

Remove unneeded verb in the phrase in sys.rst (#122718)

gh-122519: Adding socket module shutdown() constants description (#122543)

gh-122681: remove m_atan2()/c_atan2() helpers (#122715)

gh-123087: ``Lib/test/test_unittest/testmock/testasync.py``: Replace usage of the deprecated ``asyncio.iscoroutinefunction`` with the ``inspect.iscoroutinefunction`` (#123088)

asyncio.iscoroutinefunction -> inspect.iscoroutinefunction

GH-120754: Disable buffering in Path.read_bytes (#122111)

`Path.read_bytes()` is used to read a whole file. buffering /
BufferedIO is focused around making small, possibly interleaved,
read/write efficient which doesn't add value in this case.

On my Mac, running the benchmark:

```python
import pyperf
from pathlib import Path

def read_all(all_paths):
    for p in all_paths:
        p.read_bytes()

def read_file(path_obj):
    path_obj.read_bytes()

all_rst = list(Path("Doc").glob("**/*.rst"))
all_py = list(Path(".").glob("**/*.py"))
assert all_rst, "Should have found rst files"
assert all_py, "Should have found python source files"

runner = pyperf.Runner()
runner.bench_func("read_file_small", read_file, Path("Doc/howto/clinic.rst"))
runner.bench_func("read_file_large", read_file, Path("Doc/c-api/typeobj.rst"))
```

before:
```python
.....................
read_file_small: Mean +- std dev: 6.80 us +- 0.07 us
.....................
read_file_large: Mean +- std dev: 10.8 us +- 0.2 us
````

after:
```python
.....................
read_file_small: Mean +- std dev: 5.67 us +- 0.05 us
.....................
read_file_large: Mean +- std dev: 9.77 us +- 0.52 us
```

gh-118658: Return consistent types from `get_un/verified_chain` in `SSLObject` and `SSLSocket` (#118669)

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

GH-118093: Specialize `CALL_KW` (GH-123006)

gh-121404: rename compiler_addop* to codegen_addop*, and replace direct usages by the macros (#123043)

mention pypy somewhat more prominently in the pyrepl section of whatsnew (#123063)

gh-123046: Fix regexp to catch cases where the module name is omitted from the weakref repr (#123047)

Co-authored-by: sobolevn <mail@sobolevn.me>

gh-116622: Add Android test script (#121595)

Adds a script for running the test suite on Android emulator devices. Starting
with a fresh install of the Android Commandline tools; the script manages
installing other requirements, starting the emulator (if required), and
retrieving results from that emulator.

gh-116608: Apply style and compatibility changes from importlib_metadata. (#123028)

Add debug offsets for free threaded builds (#123041)

GH-121634: have `wasi.py` accept the host target triple as an argument (GH-123030)

gh-117139: Garbage collector support for deferred refcounting (#122956)

The free-threaded GC now visits interpreter stacks to keep objects
that use deferred reference counting alive.

Interpreter frames are zero initialized in the free-threaded GC so
that the GC doesn't see garbage data. This is a temporary measure
until stack spilling around escaping calls is implemented.

Co-authored-by: Ken Jin <kenjin@python.org>

gh-122584: Import mimalloc headers in a C++ context (#122587)

gh-113190: Reenable non-debug interned string cleanup (GH-113601)

gh-121404: split compiler's push/pop_inlined_comprehension_state into codegen and compiler parts (#123021)

gh-99108: Inform HACL when explicit_bzero is unavailable (GH-123027)

Inform HACL whether explicit_bzero is available

GH-109975: Copyedit 3.13 What's New: New Features (#122990)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

GH-103484: Tell linkcheck to ignore debian manpage redirects (#123019)

gh-112301: Add warning count to warning check tooling (#122711)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-123005: Add version added in enum.Flag.__len__ (GH-123007)

GH-118093: Turn some DEOPT_IFs into EXIT_IFs (GH-122998)

GH-113464: Speed up JIT builds (GH-122839)

gh-122965: Fix `reusable-change-detection.yml` on `workflow_dispatch` (#122966)

GH-120024: Remove `CHECK_EVAL_BREAKER` macro. (GH-122968)

* Factor some instructions into micro-ops to isolate CHECK_EVAL_BREAKER for escape analysis

* Eliminate CHECK_EVAL_BREAKER macro

Fix doctrees directory for the gettext builder (#122997)

 gh-111178: Avoid calling long_hash from incompatible pointer type (GH-122972)

Make `long_hash` compatible with `hashfunc`.

gh-122985: add SYMBOL_TO_SCOPE macro in symtable (#122986)

Ensure that iOS test re-runs don't try to spawn a process. (#122994)

Adds the --single-process option to the iOS test runner to ensure re-runs execute in the same process.

Add a --rerun option to the iOS testbed. (#122992)

Enable --rerun when running tests on iOS.

GH-121723: Skip test_config_queue_handler_multiprocessing_context in emulated JIT CI (#122969)

gh-99108: Add HACL* Blake2 implementation to hashlib (GH-119316)

This replaces the existing hashlib Blake2 module with a single implementation that uses HACL\*'s Blake2b/Blake2s implementations. We added support for all the modes exposed by the Python API, including tree hashing, leaf nodes, and so on. We ported and merged all of these changes upstream in HACL\*, added test vectors based on Python's existing implementation, and exposed everything needed for hashlib.

This was joint work done with @R1kM.

See the PR for much discussion and benchmarking details.   TL;DR: On many systems, 8-50% faster (!) than `libb2`, on some systems it appeared 10-20% slower than `libb2`.

gh-122907: Fix Builds Without HAVE_DYNAMIC_LOADING Set (gh-122952)

As of 529a160 (gh-118204), building with HAVE_DYNAMIC_LOADING stopped working.  This is a minimal fix just to get builds working again.  There are actually a number of long-standing deficiencies with HAVE_DYNAMIC_LOADING builds that need to be resolved separately.

GH-85633: Fix pathlib test failures on filesystems without world-write. (#122883)

Replace `umask(0)` with `umask(0o002)` so the created files are not
world-writable, and replace `umask(0o022)` with `umask(0o026)` to check
that permissions for 'others' can still be set.

Fix `print` usage in `turtle` doctests (#122940)

gh-122873: Allow "python -m json" to work (#122884)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Alyssa Coghlan <ncoghlan@gmail.com>

GH-109975: Copyedit 3.13 What's New: Release Highlights (#122958)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

GH-122390: Replace `_Py_GetbaseOpcode` with `_Py_GetBaseCodeUnit` (GH-122942)

GH-122821: Simplify compilation of while statements to ensure consistency of offsets for sys.monitoring (GH-122934)

GH-122578: update to WASI SDK 24 (GH-122960)

GH-118093: Handle some polymorphism before requiring progress in tier two (GH-122843)

gh-117482: Make the Slot Wrapper Inheritance Tests Much More Thorough (gh-122867)

There were a still a number of gaps in the tests, including not looking
at all the builtin types and not checking wrappers in subinterpreters
that weren't in the main interpreter. This fixes all that.

I considered incorporating the names of the PyTypeObject fields
(a la gh-122866), but figured doing so doesn't add much value.

gh-117139: Replace _PyList_FromArraySteal with stack ref variant (#122830)

This replaces `_PyList_FromArraySteal` with `_PyList_FromStackRefSteal`.
It's functionally equivalent, but takes a `_PyStackRef` array instead of
an array of `PyObject` pointers.

Co-authored-by: Ken Jin <kenjin@python.org>

gh-117139: Fix a few `_PyStackRef` related bugs (#122831)

`BUILD_SET` should use a borrow instead of a steal. The cleanup in `_DO_CALL`
`CONVERSION_FAILED` was incorrect.

Co-authored-by: Ken Jin <kenjin@python.org>

gh-122944: Fix incorrect prompt strings in the Python Tutorial (#122949)

In the REPL, top level comments are followed by a primary, not secondary prompt.
Fix the places in the in the tutorial that use the latter.

GH-122869: Add missing tier two optimizer cases (GH-122936)

gh-122888: Fix crash on certain calls to str() (#122889)

Fixes #122888

Fix old-style `print` statement in `gettext` comments (#122939)

gh-122688: Add more tests for var-positional parameters in Argument Clinic (GH-122900)

Fix typos in comments and test code (#122846)

Remove "print >>obj" exception hint for Python 2 (#122853)

gh-122903: Honor directories in zipfile.Path.glob. (#122908)

gh-122905: Sanitize names in zipfile.Path. (#122906)

Ported from zipp 3.19.1; ref jaraco/zipp#119.

gh-119180: annotationlib: Fix __all__, formatting (#122365)

gh-119180: Improvements to ForwardRef.evaluate (#122210)

Noticed some issues while writing documentation for this method.

GH-73991: Rework `pathlib.Path.copytree()` into `copy()` (#122369)

Rename `pathlib.Path.copy()` to `_copy_file()` (i.e. make it private.)

Rename `pathlib.Path.copytree()` to `copy()`, and add support for copying
non-directories. This simplifies the interface for users, and nicely
complements the upcoming `move()` and `delete()` methods (which will also
accept any type of file.)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-122701: Fix wording of raw strings/bytes in `lexical_analysis.rst` (#122702)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

Docs: Standardise versionchanged text in weakref.rst (#122898)

gh-122860: Remove unused macro `_Py_atomic_load_relaxed_int32` (#122861)

gh-122858: Deprecate `asyncio.iscoroutinefunction` (#122875)

Deprecate `asyncio.iscoroutinefunction` in favor of `inspect.iscoroutinefunction`.

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

GH-120974: make `_asyncio.all_tasks` thread safe (#122801)

Make `_asyncio.all_tasks` thread safe, also changes state lock to use critical section.

GH-120794: Use example paths with multiple parts in pathlib docs (#122887)

In the documentation of `PosixPath` and `WindowsPath`, and their `Pure*`
equivalents, use example paths with multiple non-anchor parts.

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-122868: Add more lower bounds for sphinxcontrib dependencies (#122891)

gh-115808: Add ``is_none`` and ``is_not_none`` to ``operator`` (#115814)

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

gh-122868: Add lower bounds for sphinxcontrib dependencies (#122870)

* Docs: Add lower bounds for sphinxcontrib dependencies

* oops

gh-105376: Restore deprecated logging warn() method (#122775)

This reverts commit dcc028d92428bd57358a5028ada2a53fc79fc365 and
commit 6c54e5d72166d012b52155cbf13af9e533290e06.

Keep the deprecated logging warn() method in Python 3.13.

Co-authored-by: Gregory P. Smith <greg@krypto.org>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-111495: Fix refleaks in test_capi.test_eval tests (#122851)

gh-122688: Fix support of var-positional parameter in Argument Clinic (GH-122689)

* Parameters after the var-positional parameter are now keyword-only
  instead of positional-or-keyword.
* Correctly calculate min_kw_only.
* Raise errors for invalid combinations of the var-positional parameter
  with "*", "/" and deprecation markers.

gh-121268: Remove workarounds for non-IEEE 754 systems in cmath (#122716)

As now building Python now requires support of IEEE 754 floating point
numbers.

gh-116622: Rename build variable MODULE_LDFLAGS back to LIBPYTHON (#122764)

(LIBPYTHON was renamed MODULE_LDFLAGS in commit 7f5e3f04f.)

GH-118943: Remove regen-jit from the regen-all make target (GH-122602)

Co-authored-by: Éric <merwok@netwok.org>

gh-112301: Update documentation for configure options (``--disable-safety`` and ``--enable-slower-safety``) (#122758)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-122835: Fix module name in ``test_typing`` (#122836)

gh-122697: Fix free-threading memory leaks at shutdown (#122703)

We were not properly accounting for interpreter memory leaks at
shutdown and had two sources of leaks:

 * Objects that use deferred reference counting and were reachable via
   static types outlive the final GC. We now disable deferred reference
   counting on all objects if we are calling the GC due to interpreter
   shutdown.

 * `_PyMem_FreeDelayed` did not properly check for interpreter shutdown
   so we had some memory blocks that were enqueued to be freed, but
   never actually freed.

 * `_PyType_FinalizeIdPool` wasn't called at interpreter shutdown.

gh-122562: fix dump_symtable for ste_free and ste_child_free removal (#122825)

gh-111495: Add more tests on PyEval C APIs (#122789)

* Add Lib/test/test_capi/test_eval.py
* Add Modules/_testlimitedcapi/eval.c

GH-120024: Tidy up case generator code a bit. (GH-122780)

gh-122744: test_venv: ignore pip's complaint about missing ssl (GH-122776)

InternalDocs: Fix typo in link to instruction_sequence.c inside compiler docs (#122809)

gh-122255: Add black box tests in test_warnings (GH-122227)

They are similar to white box tests for gh-86298 in test_importlib.

gh-116263: Do not rollover empty files in RotatingFileHandler (GH-122788)

gh-120782: Update datetime test for static type immutability (#122800)

gh-122247: Move instruction instrumentation sanity check after tracing check (#122251)

gh-105201: Add PyIter_NextItem() (#122331)

Return -1 and set an exception on error; return 0 if the iterator is
exhausted, and return 1 if the next item was fetched successfully.

Prefer this API to PyIter_Next(), which requires the caller to use
PyErr_Occurred() to differentiate between iterator exhaustion and errors.

Co-authered-by: Irit Katriel <iritkatriel@yahoo.com>

gh-118814: Fix the TypeVar constructor when name is passed by keyword (GH-122664)

Fix _PyArg_UnpackKeywordsWithVararg for the case when argument for
positional-or-keyword parameter is passed by keyword.
There was only one such case in the stdlib -- the TypeVar constructor.

gh-122478: Remove internal frames from tracebacks in REPL (GH-122528)

Frames of methods in code and codeop modules was show with non-default
sys.excepthook.

Save correct tracebacks in sys.last_traceback and update __traceback__
attribute of sys.last_value and sys.last_exc.

gh-118761: Improve import time of `pprint` (#122725)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

Remove dead code in the RE parser (GH-122796)

gh-122798: Make tests for warnings in the re module more strict (GH-122799)

* Test warning messages.
* Test stack level for re.compile() and re.findall().

gh-118926: Spill deferred references to stack in cases generator (#122748)

This automatically spills the results from `_PyStackRef_FromPyObjectNew`
to the in-memory stack so that the deferred references are visible to
the GC before we make any possibly escaping call.

Co-authored-by: Ken Jin <kenjin@python.org>

Docs: Change `remove` to `removes` for consistency (#121072)

Bump types-setuptools to 71.1.0.20240726 in /Tools (#122551)