gH-80788: remove old weakset workaround for thread safety (#123388)

gh-123089: Make weakref.WeakSet safe against concurrent mutations while it is being iterated  (#123279)

* Make `weakref.WeakSet` safe against concurrent mutations while it is being iterated.

`_IterationGuard` is no longer used for `WeakSet`, it now relies on copying the underlying set which is an atomic operation while iterating so that it can be modified by other threads.

gh-120426: Reword the glossary term "immortal" (GH-123191)

Reword the glossary term "immortal", mark it as an implementation detail

gh-121404: compiler_visit_* --> codegen_visit_* (#123382)

GH-123232: Factor BINARY_SLICE and STORE_SLICE to handle stats properly for tier 2. (GH-123381)

GH-115775: Use `__static_attributes__` to initialize shared keys (GH-118468)

Further revise idlelib/Icons/README.text (#123364)

In particular, add trademark derivative approval information.

gh-122666: Tests for ast optimizations (#122667)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-123340: Show string value of `IS_OP` oparg in `dis` (#123348)

GH-73991: Prune `pathlib.Path.copy()` and `copy_into()` arguments (#123337)

Remove *ignore* and *on_error* arguments from `pathlib.Path.copy[_into]()`,
because these arguments are under-designed. Specifically:

- *ignore* is appropriated from `shutil.copytree()`, but it's not clear
  how it should apply when the user copies a non-directory. We've changed
  the callback signature from the `shutil` version, but I'm not confident
  the new signature is as good as it can be.
- *on_error* is a generalisation of `shutil.copytree()`'s error handling,
  which is to accumulate exceptions and raise a single `shutil.Error` at
  the end. It's not obvious which solution is better.

Additionally, this arguments may be challenging to implement in future user
subclasses of `PathBase`, which might utilise a native recursive copying
method.

GH-73991: Make `pathlib.Path.delete()` private. (#123315)

Per feedback from Paul Moore on GH-123158, it's better to defer making
`Path.delete()` public than ship it with under-designed error handling
capabilities.

We leave a remnant `_delete()` method, which is used by `move()`. Any
functionality not needed by `move()` is deleted.

gh-111495: Remove test_capi test_rshift_print() (#123338)

The suggestion for "print >> value" was removed recently:
commit 9375b9ca3a4998678ba74ff5c77ed540a4dcf887.

 gh-111495: Add tests for PyNumber C API (#111996)

GH-73991: Add `pathlib.Path.copy_into()` and `move_into()` (#123314)

These two methods accept an *existing* directory path, onto which we join
the source path's base name to form the final target path.

A possible alternative implementation is to check for directories in
`copy()` and `move()` and adjust the target path, which is done in several
`shutil` functions. This behaviour is helpful in a shell context, but
less so in a stored program that explicitly specifies destinations. For
example, a user that calls `Path('foo.py').copy('bar.py')` might not
imagine that `bar.py/foo.py` would be created, but under the alternative
implementation this will happen if `bar.py` is an existing directory.

gh-111495: Add tests for PyTuple C API (#118757)

Co-authored-by: kalyanr <kalyan.ben10@live.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

Rewrite idlelib/Icons/README.txt (#123329)

gh-123177: Fix prompt for wrapped lines in pyrepl (#123324)

When display lines above the cursor come from the cache, the first line
to not come from the cache may be a wrapped line, starting half way
through a logical line in the buffer. Detect and handle this case to
avoid accidentally drawing a stray prompt in the middle of a logical
line.

gh-82378: Document the difference between sys.tracebacklimit and the limit arguments (#123286)

gh-123177: Deactivate line wrap for Apple Terminal via scape codes in the new REPL (#123267)

gh-123297: Propagate LD_FLAGS to LDCXXSHARED in sysconfig (#123298)

gh-122982: Extend the deprecation period for bool inversion by two years (#123306)

GH-73991: Add `pathlib.Path.move()` (#122073)

Add a `Path.move()` method that moves a file or directory tree, and returns a new `Path` instance pointing to the target.

This method is similar to `shutil.move()`, except that it doesn't accept a *copy_function* argument, and it doesn't check whether the destination is an existing directory.

gh-123228: don't leak file descriptors in pyrepl test (#123302)

GH-109975: Copyedit 3.13 What's New: Optimizations (#123301)

GH-123299: Move ctypes What's New entry to 3.14 (#123300)

Revert "GH-120754: Add a strace helper and test set of syscalls for o… (#123303)

Revert "GH-120754: Add a strace helper and test set of syscalls for open().read() (#121143)"

This reverts commit e38d0afe3548b856ccf0b05c01ed3eefc69cb3e7.

GH-120754: Add a strace helper and test set of syscalls for open().read() (#121143)

Remove comment from pystate created in 2003 (#123259)

gh-123228: fix return type for _ReadlineWrapper.get_line_buffer() (#123281)

Co-authored-by: Carl Friedrich Bolz-Tereick <cfbolz@gmx.de>

GH-122890: Fix low-level error handling in `pathlib.Path.copy()` (#122897)

Give unique names to our low-level FD copying functions, and try each one
in turn. Handle errors appropriately for each implementation:

- `fcntl.FICLONE`: suppress `EBADF`, `EOPNOTSUPP`, `ETXTBSY`, `EXDEV`
- `posix._fcopyfile`: suppress `EBADF`, `ENOTSUP`
- `os.copy_file_range`: suppress `ETXTBSY`, `EXDEV`
- `os.sendfile`: suppress `ENOTSOCK`

GH-109975: Copyedit 3.13 What's New: Improved Modules (#123132)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

Docs: Fix Makefile syntax (#123287)

gh-123243: Fix reference leak in `_decimal` (#123244)

gh-117376: Make `Py_DECREF` a macro in ceval.c in free-threaded build (#122975)

`Py_DECREF` and `PyStackRef_CLOSE` are now implemented as macros in the
free-threaded build in ceval.c. There are two motivations;

 * MSVC has problems inlining functions in ceval.c in the PGO build.

 * We will want to mark escaping calls in order to spill the stack
   pointer in ceval.c and we will want to do this around `_Py_Dealloc`
   (or `_Py_MergeZeroLocalRefcount` or `_Py_DecRefShared`), not around
   the entire `Py_DECREF` or `PyStackRef_CLOSE` call.

gh-123205: `Python/bytecodes.c`: Fix compiler warning (#123206)

Fix MSVC warning "conversion from '__int64' to 'int'"

GH-73991: Disallow copying directory into itself via `pathlib.Path.copy()` (#122924)

gh-121404: more compiler_* -> codegen_*, class_body and comprehensions (#123262)

Fix typo mentioning threads instead of tasks (#123203)

gh-122272: Guarantee specifiers %F and %C for datetime.strftime to be 0-padded (GH-122436)

GH-122298: Restore printing of GC stats (GH-123261)

gh-123229: Fix valgrind warning by initializing the f-string buffers to 0 in the tokenizer (#123263)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>

GH-123232: Fix "not specialized" stats (GH-123236)

gh-121404: compiler_annassign --> codegen_annassign (#123245)

GH-123040: Specialize shadowed `LOAD_ATTR`. (GH-123219)

gh-123213: Fixed xml.etree.ElementTree.Element.extend and assignment to no longer hide exceptions (GH-123214)

GH-99108: Amend Modules/Setup (#123146)

gh-122546: Relax SyntaxError check when raising errors on the new REPL (#123233)

gh-123083: Fix a potential use-after-free in ``STORE_ATTR_WITH_HINT`` (gh-123092)

gh-121404: remove redundant c_nestlevel. more compiler abstractions. more macro usage consistency (#123225)

gh-123165: correct tests for `dis.dis(func, show_positions=True)` (#123220)

GH-123197: Only count an instruction as deferred if it hasn't deopted first. (GH-123222)

Only count an instruction as deferred if hasn't deopted first.

gh-122546: use same filename for different exceptions in new repl (#123217)

* gh-122546: use same filename for different exceptions in new repl

* +1

GH-118093: Specialize calls to non-vectorcall classes as `CALL_NON_PY_GENERAL` (GH-123212)

Specialize classes without vectorcall as CALL_NON_PY_GENERAL

gh-122712: Test `CALL_ALLOC_AND_ENTER_INIT` handles reassignment of `__code__` (GH-122713)

gh-123142: Fix too wide source locations in tracebacks of exceptions from broken iterables in comprehensions (#123173)

GH-115776: Allow any fixed sized object to have inline values (GH-123192)

gh-121404: split fblock handling into compiler_* and codegen_* parts (#123199)

gh-123165: make `dis` functions render positions on demand (#123168)

Fix typos in comments (#123201)

GH-123197: Increment correct stat for CALL_KW (GH-123200)

GH-123185: Check for `NULL` after calling `_PyEvalFramePushAndInit` (GH-123194)

gh-85110: Preserve relative path in URL without netloc in urllib.parse.urlunsplit() (GH-123179)

gh-123084: Turn `shutil.ExecError` into a deprecated alias of `RuntimeError` (#123125)

gh-122981: Fix inspect.getsource() for generated classes with Python base classes (GH-123001)

Look up __firstlineno__ only in the class' dict, without searching in
base classes.

GH-118093: Make `CALL_ALLOC_AND_ENTER_INIT` suitable for tier 2. (GH-123140)

* Convert CALL_ALLOC_AND_ENTER_INIT to micro-ops such that tier 2 supports it

* Allow inexact arguments for CALL_ALLOC_AND_ENTER_INIT.

gh-123048: Fix missing source location in pattern matching code (#123167)

gh-122909: Pass ftp error strings to URLError constructor (#122913)

* pass the original string error message from the ftplib error to URLError()

* Update request.py

Change error string for ftp error to be consistent with other errors reported for ftp

* Add NEWS entry for change to urllib.request for ftp errors.

* Track the change in the ftp error message in the test.

gh-109975: Copyedit What's New in Python 3.13 (#123150)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-123149: Suppress verbose repr in new REPL (#123151)

gh-123123: Fix display of syntax errors covering multiple lines (#123131)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>

gh-121404: rename functions to use codegen_* prefix. Use macros more consistently. (#123139)

gh-121804: Always show error location for SyntaxError's in new repl (#121886)

gh-121404: pass metadata to compiler_enter_scope (optionally) so that codegen functions don't need to set it on the code unit (#123078)

gh-122081: fixed crash in decimal.IEEEContext() (#122082)

* gh-122081: fixed crash in decimal.IEEEContext()

Now

$ ./configure CFLAGS=-DEXTRA_FUNCTIONALITY -q && make -s && \
     ./python -m test test_decimal

- PASS

* Apply suggestions from code review

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
* Update Misc/NEWS.d/next/Library/2024-07-21-10-45-24.gh-issue-122081.dNrYMq.rst

* Apply suggestions from code review

---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-123049: configparser: Allow to create the unnamed section from scratch. (#123077)

---------

Co-authored-by: Jason R. Coombs <jaraco@jaraco.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-116789: Add more tests for `inspect.getmembers` (#116802)

gh-123110: correct note about _Bool in the struct module docs (GH-123111)

gh-82378 fix sys.tracebacklimit in pyrepl, approach 2 (#123062)

Make sure that pyrepl uses the same logic for sys.tracebacklimit as both
the basic repl and the standard sys.excepthook

Docs: Run ``latexmk`` in parallel when creating PDFs (#123113)

gh-123022: Fix crash with  `Py_Initialize` in background thread (#123052)

Check that the current default heap is initialized in
`_mi_os_get_aligned_hint` and `mi_os_claim_huge_pages`.

The mimalloc function `_mi_os_get_aligned_hint` assumes that there is an
initialized default heap. This is true for our main thread, but not for
background threads. The problematic code path is usually called during
initialization (i.e., `Py_Initialize`), but it may also be called if the
program allocates large amounts of memory in total.

The crash only affected the free-threaded build.

gh-122974: Suppress GCC array bound warnings in free-threaded build (#123071)

GCC 11 and newer warn about the access to `unique_id` in non-debug builds
due to inlining the call on static non-heap types.

gh-123067: Fix quadratic complexity in parsing "-quoted cookie values with backslashes (GH-123075)

This fixes CVE-2024-7592.

GH-109975: Copyedit 3.13 What's New: Other Language Changes (#123086)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-121477: mention new PyLong_*Bytes() functions in PyLong_FromString() (#121478)

* gh-121477: mention new PyLong_*Bytes() functions in PyLong_FromString()

* Update Doc/c-api/long.rst

---------

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

fix typo in dis.rst (#121612)

Remove unneeded verb in the phrase in sys.rst (#122718)

gh-122519: Adding socket module shutdown() constants description (#122543)

gh-122681: remove m_atan2()/c_atan2() helpers (#122715)

gh-123087: ``Lib/test/test_unittest/testmock/testasync.py``: Replace usage of the deprecated ``asyncio.iscoroutinefunction`` with the ``inspect.iscoroutinefunction`` (#123088)

asyncio.iscoroutinefunction -> inspect.iscoroutinefunction

GH-120754: Disable buffering in Path.read_bytes (#122111)

`Path.read_bytes()` is used to read a whole file. buffering /
BufferedIO is focused around making small, possibly interleaved,
read/write efficient which doesn't add value in this case.

On my Mac, running the benchmark:

```python
import pyperf
from pathlib import Path

def read_all(all_paths):
    for p in all_paths:
        p.read_bytes()

def read_file(path_obj):
    path_obj.read_bytes()

all_rst = list(Path("Doc").glob("**/*.rst"))
all_py = list(Path(".").glob("**/*.py"))
assert all_rst, "Should have found rst files"
assert all_py, "Should have found python source files"

runner = pyperf.Runner()
runner.bench_func("read_file_small", read_file, Path("Doc/howto/clinic.rst"))
runner.bench_func("read_file_large", read_file, Path("Doc/c-api/typeobj.rst"))
```

before:
```python
.....................
read_file_small: Mean +- std dev: 6.80 us +- 0.07 us
.....................
read_file_large: Mean +- std dev: 10.8 us +- 0.2 us
````

after:
```python
.....................
read_file_small: Mean +- std dev: 5.67 us +- 0.05 us
.....................
read_file_large: Mean +- std dev: 9.77 us +- 0.52 us
```

gh-118658: Return consistent types from `get_un/verified_chain` in `SSLObject` and `SSLSocket` (#118669)

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

GH-118093: Specialize `CALL_KW` (GH-123006)

gh-121404: rename compiler_addop* to codegen_addop*, and replace direct usages by the macros (#123043)

mention pypy somewhat more prominently in the pyrepl section of whatsnew (#123063)

gh-123046: Fix regexp to catch cases where the module name is omitted from the weakref repr (#123047)

Co-authored-by: sobolevn <mail@sobolevn.me>

gh-116622: Add Android test script (#121595)

Adds a script for running the test suite on Android emulator devices. Starting
with a fresh install of the Android Commandline tools; the script manages
installing other requirements, starting the emulator (if required), and
retrieving results from that emulator.

gh-116608: Apply style and compatibility changes from importlib_metadata. (#123028)

Add debug offsets for free threaded builds (#123041)

GH-121634: have `wasi.py` accept the host target triple as an argument (GH-123030)

gh-117139: Garbage collector support for deferred refcounting (#122956)

The free-threaded GC now visits interpreter stacks to keep objects
that use deferred reference counting alive.

Interpreter frames are zero initialized in the free-threaded GC so
that the GC doesn't see garbage data. This is a temporary measure
until stack spilling around escaping calls is implemented.

Co-authored-by: Ken Jin <kenjin@python.org>