gh-74929: PEP 667 general docs update (gh-119201)

* expand on What's New entry for PEP 667 (including porting notes)
* define 'optimized scope' as a glossary term
* cover comprehensions and generator expressions in locals() docs
* review all mentions of "locals" in documentation (updating if needed)
* review all mentions of "f_locals" in documentation (updating if needed)

gh-119174: Fix high DPI causes turtledemo(turtle-graphics examples) windows blurry (#119175)

------
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

gh-102136: Add -m to options that work with -i (GH-119271)

* GH-102136: Add -m to options that work with -i

* Linting

gh-108267 Fix another dataclasses docs typo (#119277)

gh-111201: Add tests for unix console class in pyrepl (#118653)

gh-119050: Add XML support to libregrtest refleak checker (#119148)

regrtest test runner: Add XML support to the refleak checker
(-R option).

* run_unittest() now stores XML elements as string, rather than
  objects, in support.junit_xml_list.
* runtest_refleak() now saves/restores XML strings before/after
  checking for reference leaks. Save XML into a temporary file.

gh-119253: use ImportError in _ios_support (#119254)

gh-94808: Add test coverage for "starred kind" in _PyPegen_set_expr_context (GH-119222)

Add test coverage for "starred kind" in _PyPegen_set_expr_context

gh-118912: Remove description of issue fixed in 3.5 from autospeccing guide (#119232)

* Remove description of issue fixed in 3.5 from autospeccing guide

* Make autospeccing note text more succint and lint whitespace

* Add linting changes (missed in last commit)

---------

Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

gh-111201: Add more tests to test_pyrepl to cover key translation (#118705)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-119189: Add more tests for mixed Fraction arithmetic (GH-119236)

Docs: Ensure no warnings are found in the NEWS file before a given line number (#119221)

gh-118760: Restore the default value of tkinter.wantobjects to 1 (GH-118784)

It was set to 2 in 65f5e586a1239ed1a66d8284773d7b02ce40e480 (GH-98592).

Use correct markup in unittest.mock.reset_mock documentation (GH-119207)

gh-92081: Fix for email.generator.Generator with whitespace between encoded words. (#92281)

* Fix for email.generator.Generator with whitespace between encoded words.

email.generator.Generator currently does not handle whitespace between
encoded words correctly when the encoded words span multiple lines.  The
current generator will create an encoded word for each line.  If the end
of the line happens to correspond with the end real word in the
plaintext, the generator will place an unencoded space at the start of
the subsequent lines to represent the whitespace between the plaintext
words.

A compliant decoder will strip all the whitespace from between two
encoded words which leads to missing spaces in the round-tripped
output.

The fix for this is to make sure that whitespace between two encoded
words ends up inside of one or the other of the encoded words.  This
fix places the space inside of the second encoded word.

A second problem happens with continuation lines.  A continuation line that
starts with whitespace and is followed by a non-encoded word is fine because
the newline between such continuation lines is defined as condensing to
a single space character.  When the continuation line starts with whitespace
followed by an encoded word, however, the RFCs specify that the word is run
together with the encoded word on the previous line.  This is because normal
words are filded on syntactic breaks by encoded words are not.

The solution to this is to add the whitespace to the start of the encoded word
on the continuation line.

Test cases are from #92081

* Rename a variable so it's not confused with the final variable.

gh-118877: Fix AssertionError crash in pyrepl (#118936)

DOCS: Suggest always calling exec with a globals argument and no locals argument (GH-119235)

Many users think they want a locals argument for various reasons but they do not
understand that it makes code be treated as a class definition. They do not want
their code treated as a class definition and get surprised. The reason not
to pass locals specifically is that the following code raises a `NameError`:

```py
exec("""
def f():
    print("hi")

f()

def g():
    f()
g()
""", {}, {})
```

The reason not to leave out globals is as follows:

```py
def t():
    exec("""
def f():
    print("hi")

f()

def g():
    f()
g()
    """)
```

gh-112844: Update CPE references for external dependencies (#118521)

gh-119219: Remove two obsolete TODOs. (#119223)

Remove two obsolete TODOs.

Amend NEWS category for gh-119196 (#119218)

[docs] TypeVarTuple default is keyword-only (#119215)

gh-115119: Fall back to bundled libmpdec if system libmpdec is not found (#119196)

typing docs: Fix formatting issue (#119210)

gh-119185: Fix typo in `_pyrepl.pager`: `tempfilepager` should be `tempfile_pager` (#118881)

Fix typo in `_pyrepl.pager`: `tempfilepager` should be `tempfile_pager`

The name with no underscore doesn't exist.

gh-103134: Update multiprocessing.managers.ListProxy and DictProxy  (GH-103133)

gh-118928: Remove unneeded sqlite3 NEWS entry (#119208)

The regression in d8e0e0091 was never part of an official release.

gh-118928: sqlite3: correctly bail if sequences of params are used with named placeholders (#119197)

Enable some stricter mypy settings on `Lib/_pyrepl` (#119077)

gh-119121: Fix and test `async.staggered.staggered_race` (#119173)

IDLE: fix url in config.py comment (#119198)

gh-119105: difflib: improve recursion for degenerate cases (#119131)

Code from https://github.com/pulkin, in PR
https://github.com/python/cpython/pull/119131

Greatly speeds `Differ` when there are many identically scoring pairs, by splitting the recursion near the inputs' midpoints instead of degenerating (as now) into just peeling off the first two lines.

Co-authored-by: Tim Peters <tim.peters@gmail.com>

GH-119113: Raise `TypeError` from `pathlib.PurePath.with_suffix(None)` (#119124)

Restore behaviour from 3.12 when `path.with_suffix(None)` is called.

GH-118447: Fix FreeBSD test failures. (#119170)

Apparently only macOS requires read permission to call `readlink()` on a
symlink.

GH-119146: Don't run JIT CI on unrelated changes  (GH-119147)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

marshal docs: Remove reference to "Sun" (#119161)

Nobody has been using a Sun machine for a long time. When I saw
this sentence in a lightning talk just now, I thought it was talking
about sending Python code on a spacecraft.

Try to repair oddball test bots timing out in test_int (#119166)

Various test bots (outside the ones GH normally runs) are timing out during test_int after ecd8664 (asymptotically faster str->int). Best guess is that they don't build the C _decimal module. So require that module in the most likely tests to time out then. Flying mostly blind, though!

gh-118750: Asymptotically faster `int(string)` (#118751)

Asymptotically faster (O(n log n)) str->int for very large strings, leveraging the faster multiplication scheme in the C-coded `_decimal` when available. This is used instead of the current Karatsuba-limited method starting at 2 million digits.

Lots of opportunity remains for fine-tuning. Good targets include changing BYTELIM, and possibly changing the internal output base (from 256 to a higher number of bytes).

Doing this was substantial work, and many of the new lines are actually comments giving correctness proofs. The obvious approaches sticking to integers were too slow to be useful, so this is doing variable-precision decimal floating-point arithmetic. Much faster, but worst-possible rounding errors have to be wholly accounted for, using as little precision as possible.

Special thanks to Serhiy Storchaka for asking many good questions in his code reviews!

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: sstandre <43125375+sstandre@users.noreply.github.com>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>

GH-118447: Fix handling of unreadable symlinks in `os.path.realpath()` (#118489)

Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>

gh-119050: Add type hints to libregrtest/results.py (#119144)

Sort also 'omitted' in TestResults.display_result().

gh-119132: Update sys.version to identify free-threaded or not. (gh-119134)

docs: make mimalloc license text literal (#119046)

gh-119132: Log sys._is_gil_enabled() in test.pythoninfo (#119140)

gh-119078: Clarify venv tutorial (GH-119129)

Minor improvements to the docs for itertools.tee() (gh-119135)

gh-119049: Defer `import warnings` in `pathlib._local` (#119111)

gh-112066: Fix versionadded in PyDict_SetDefaultRef docs (#118696)

Fix typos in documentation (#119092)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Improve `pyrepl` type-annotation coverage (#119081)

gh-119049: Fix incorrect display of warning which is constructed by C API (GH-119063)

The source line was not displayed if the warnings module had not yet
been imported.

GH-118943: Fix a race condition when generating jit_stencils.h (GH-118957)

Explain how to install LLVM on Fedora (GH-118983)

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-108267: Fix object.__setattr__ regression in dataclasses docs (#119082)

Add Tkinter tests for different events (GH-118778)

gh-119064: Use os_helper.FakePath instead of pathlib.Path in tests (GH-119065)

Fix typos in test_buffer.py and update numpy issue links (#118963)

Use literal syntax in origin property (#119029)

Docs: fix typos in documentation (gh-118941)

gh-119009: Add gettext target (#119006)

gh-118760: Fix errors in calling Tkinter bindings on Windows (GH-118782)

For unknown reasons some arguments for Tkinter binding can be created
as a 1-tuple containing a Tcl_Obj when wantobjects is 2.

Remove references to private symbols from zipimport module docstring (GH-119015)

gh-118486: Simplify test_win32_mkdir_700 to check the exact ACL (GH-119056)

3.13 What's New: Add PEP 702 (#118922)

I honestly forgot this slipped into 3.13, but I think it's worth highlighting more, as it is a PEP-sized change that makes the type system significantly more powerful.

@Yhg1s I think it's also worth mentioning in your release announcements.

GH-74033: Drop deprecated `pathlib.Path` keyword arguments (#118793)

Remove support for supplying keyword arguments to `pathlib.Path()`. This
has been deprecated since Python 3.12.

GH-101357: Suppress `OSError` from `pathlib.Path.exists()` and `is_*()` (#118243)

Suppress all `OSError` exceptions from `pathlib.Path.exists()` and `is_*()`
rather than a selection of more common errors as we do presently. Also
adjust the implementations to call `os.path.exists()` etc, which are much
faster on Windows thanks to GH-101196.

gh-118928: sqlite3: disallow sequences of params with named placeholders (#118929)

Follow-up of gh-101693. The previous DeprecationWarning is replaced with
raising sqlite3.ProgrammingError.

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

Misc improvements to the itertools docs (gh-119040)

typing tests: remove some unnecessary uses of `exec()` (#119005)

Add yet few cases for urlparse/urlunparse roundtrip tests (GH-119031)

Add yet few cases for urlparse/urlunparse tests

gh-67693: Fix urlunparse() and urlunsplit() for URIs with path starting with multiple slashes and no authority (GH-113563)

GH-118836: Fix JIT build error when SHT_NOTE section is present (GH-119000)

gh-118998: Handle errors correctly in `tmtotuple` in `timemodule` (#118999)

gh-119010: Adds docs about `__type_params__` to `functools.update_wrapper` (#119012)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-117873: Revert _posixshmem.shm_open() change (#118901)

gh-58933: Make pdb return to caller frame correctly when f_trace is not set (#118979)

gh-118876: Ensure PC/layout sets ns.temp before using it (GH-118880)

Fixes an AttributeError that occurs when checking if ns.temp is an absolute path during building from source on Windows.

Improve the `rmtree` doc for `dir_fd` param addition in 3.11 (#118964)

gh-87106: Fix inspect.signature.bind() handling of positional-only arguments with **kwargs (GH-103404)

Itertools docs: fix parameter names and indentation in Python equivalents (gh-118977)

gh-118899: Add tests for `NotImplemented` attribute access (#118902)

GH-118844: Fix build failures when combining --disable-gil with --enable-experimental-jit (GH-118935)

gh-117655: Prevent `test_strptime` from raising a DeprecationWarning (GH-117668)

* Fix `test_strptime` raises a DeprecationWarning
* Ignore deprecation warnings where appropriate.
* Update Lib/test/datetimetester.py

This is follow on work to silence unnecessary warnings from the test suite that changes for https://github.com/python/cpython/issues/70647 added.

gh-118932: ChainMap.__contains__ performance improvement (gh-118946)

Docs: Fix SOURCE_URI (#118945)

gh-118921: Add `copy()` method for `FrameLocalsProxy` (#118923)

gh-117657: Log TSAN warnings to separate files and archive them (#118747)

This ensures we don't lose races that occur in subprocesses or
interleave races from workers running in parallel.

Log files are collected and packaged into a zipfile that can be
downloaded from the "Artifacts" section of the workflow run.

gh-118924: Remove `sqlite3.version` and `sqlite3.version_info` (#118925)

gh-118846: Fix free-threading test failures when run sequentially (#118864)

The free-threaded build currently immortalizes some objects once the
first thread is started. This can lead to test failures depending on the
order in which tests are run. This PR addresses those failures by
suppressing immortalization or skipping the affected tests.

gh-118702: Implement vectorcall for BaseException (#118703)

* BaseException_vectorcall() now creates a tuple from 'args' array.
* Creation an exception using BaseException_vectorcall() is now a
  single function call, rather than having to call
  BaseException_new() and then BaseException_init().
  Calling BaseException_init() is inefficient since it overrides
  the 'args' attribute.
* _PyErr_SetKeyError() now uses PyObject_CallOneArg() to create the
  KeyError instance to use BaseException_vectorcall().

Rename typing._collect_parameters (#118900)

Unfortunately, released versions of typing_extensions
monkeypatch this function without the extra parameter, which makes
it so things break badly if current main is used with typing_extensions.

Fortunately, the monkeypatching is not needed on Python 3.13, because CPython
now implements PEP 696. By renaming the function, we prevent the monkeypatch
from breaking typing.py internals.

We keep the old name (raising a DeprecationWarning) to help other external users who call it.

GH-118910: Less boilerplate in the tier 2 optimizer (#118913)

gh-118771: Ensure names defined in optimizer.h start with Py/_Py (GH-118825)

GH-78707: Drop deprecated `pathlib.PurePath.[is_]relative_to()` arguments (#118780)

Remove support for supplying additional positional arguments to
`PurePath.relative_to()` and `is_relative_to()`. This has been deprecated
since Python 3.12.

gh-118895: Call PyType_Ready() on typing.NoDefault (#118897)

Correct the argument names for `secrets.choice` and `secrets.randbelow` in `secrets.rst` (GH-118098)

Correct the argument names for `secrets.choice` and `secrets.randbelow` in `secrets.rst`.

gh-117657: Fix QSBR race condition (#118843)

`_Py_qsbr_unregister` is called when the PyThreadState is already
detached, so the access to `tstate->qsbr` isn't safe without locking the
shared mutex. Grab the `struct _qsbr_shared` from the interpreter
instead.

gh-117657: Fix data races reported by TSAN on `interp->threads.main` (#118865)

Use relaxed loads/stores when reading/writing to this field.

gh-118789: Restore hidden `_PyWeakref_ClearRef` (#118797)

_PyWeakref_ClearRef was previously exposed in the public C-API, although
it begins with an underscore and is not documented. It's used by a few
C-API extensions. There is currently no alternative public API that can
replace its use.

_PyWeakref_ClearWeakRefsExceptCallbacks is the only thread-safe way to
use _PyWeakref_ClearRef in the free-threaded build. This exposes the C
symbol, but does not make the API public.

gh-117398: Move types to datetime state (#118606)

Move types to the datetime_state structure of the _datetime
extension.

Rename `notimplemented_methods` into `nodefault_methods` (#118896)

gh-118689: Doc: fix ePub build (#118690)