GH-117195: Avoid assertion error in `object.__sizeof__` (GH-117220)

gh-119431: fix refleak in test_monitoring (#119444)

Fix typos in what's new documentation (#119448)

Tiny fix: Update link for HAC algorithm (gh-118546)

gh-119105: difflib.py Differ.compare is too slow [for degenerate cases] (#119376)

Track all pairs achieving the best ratio in Differ(). This repairs the "very deep recursion and cubic time" bad cases in a way that preserves previous output.

gh-119434: Fix culmitive errors in wrapping as lines proceed (#119435)

Fix culmitive errors in wrapping as lines proceed

gh-119396: Optimize PyUnicode_FromFormat() UTF-8 decoder (#119398)

Add unicode_decode_utf8_writer() to write directly characters into a
_PyUnicodeWriter writer: avoid the creation of a temporary string.
Optimize PyUnicode_FromFormat() by using the new
unicode_decode_utf8_writer().

Rename unicode_fromformat_write_cstr() to
unicode_fromformat_write_utf8().

Microbenchmark on the code:

    return PyUnicode_FromFormat(
        "%s %s %s %s %s.",
        "format", "multiple", "utf8", "short", "strings");

Result: 620 ns +- 8 ns -> 382 ns +- 2 ns: 1.62x faster.

gh-111201: Use calc_complete_screen after bracketed paste in PyREPL (#119432)

gh-117142: ctypes: Clean up c-analyzer .tsv files (GH-117544)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-70795: Rework RLock documentation (#103853)

Attempted to simultaneously reduce verbosity, while more descriptively
describing behavior.

Fix links (RLock acquire/release previously linking to Lock
acquire/release, seems like bad copy pasta).

Add a seealso for with-locks.

Switch section to use bullet points.

---------

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-117505: Run ensurepip in isolated env in Windows installer (GH-118257)

ensurepip forks a subprocess to run pip itself, but that subprocess only inherits a -I isolated mode flag (see _run_pip() in Lib/ensurepip/__init__.py), not the "-E -s" flags that the installer has been using. This means that parts of ensurepip don't actually run in an isolated environment and can make incorrect decisions based on packages installed in the user site-packages.

gh-119247: Add macros to use PySequence_Fast safely in free-threaded build (#119315)

Add `Py_BEGIN_CRITICAL_SECTION_SEQUENCE_FAST` and
`Py_END_CRITICAL_SECTION_SEQUENCE_FAST` macros and update `str.join` to use
them. Also add a regression test that would crash reliably without this
patch.

gh-117657: Fix missing atomic in dict_resize (#119312)

Fix missing atomic in dict_resize

Remove almost all unpaired backticks in docstrings (#119231)

As reported in #117847 and #115366, an unpaired backtick in a docstring
tends to confuse e.g. Sphinx running on subclasses of standard library
objects, and the typographic style of using a backtick as an opening
quote is no longer in favor. Convert almost all uses of the form

    The variable `foo' should do xyz

to

    The variable 'foo' should do xyz

and also fix up miscellaneous other unpaired backticks (extraneous /
missing characters).

No functional change is intended here other than in human-readable
docstrings.

gh-119213: Be More Careful About _PyArg_Parser.kwtuple Across Interpreters (gh-119331)

_PyArg_Parser holds static global data generated for modules by Argument Clinic.  The _PyArg_Parser.kwtuple field is a tuple object, even though it's stored within a static global.  In some cases the tuple is statically allocated and thus it's okay that it gets shared by multiple interpreters.  However, in other cases the tuple is set lazily, allocated from the heap using the active interprepreter at the point the tuple is needed.

This is a problem once that interpreter is destroyed since _PyArg_Parser.kwtuple becomes at dangling pointer, leading to crashes.  It isn't a problem if the tuple is allocated under the main interpreter, since its lifetime is bound to the lifetime of the runtime.  The solution here is to temporarily switch to the main interpreter.  The alternative would be to always statically allocate the tuple.

This change also fixes a bug where only the most recent parser was added to the global linked list.

gh-119391: Amend comment description of PyMapping_Items, PyMapping_Values and PyMapping_Keys (#119392)

The behaviour was changed in 0ccc0f6c7.

gh-118643: Fix AttributeError in the email module (GH-119099)

Fix regression introduced in gh-100884: AttributeError when re-fold a long
address list.

Also fix more cases of incorrect encoding of the address separator in the
address list missed in gh-100884.

Fix version number in use_load_tests deprecation reference (GH-119151)

Deprecation took place in d78742a260ba09e53c844de7b1fd11a11c674945 (3.5)

Fix typos in NEWS entries for 3.13 (GH-119374)

Clarify that dklen is expected in bytes for the hashlib functions (GH-106624)

DOCS: fix error in exec namespace note (gh-119378)

When updating the new exec note added in gh-119235 as part of the
PEP 667 general docs PR, I suggested a workaround that isn't valid.

The first half of the note is still reasonable, so just omit the invalid text.

gh-118911: Trailing whitespace in a block shouldn't prevent the user from terminating the code block (#119355)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-111201: Speed up paste mode in the REPL (#119341)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-111201: auto-indentation in _pyrepl (#119348)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-119180: PEP 649: Add __annotate__ attributes (#119209)

gh-119357: Increase test coverage for keymap in _pyrepl (#119358)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-111201: Add append to screen method to avoid recalculation (#119274)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-60191: Implement ast.compare (#19211)

* bpo-15987: Implement ast.compare

Add a compare() function that compares two ASTs for structural equality. There are two set of attributes on AST node objects, fields and attributes. The fields are always compared, since they represent the actual structure of the code. The attributes can be optionally be included in the comparison. Attributes capture things like line numbers of column offsets, so comparing them involves test whether the layout of the program text is the same. Since whitespace seems inessential for comparing ASTs, the default is to compare fields but not attributes.

ASTs are just Python objects that can be modified in arbitrary ways. The API for ASTs is under-specified in the presence of user modifications to objects. The comparison respects modifications to fields and attributes, and to _fields and _attributes attributes. A user could create obviously malformed objects, and the code will probably fail with an AttributeError when that happens. (For example, adding "spam" to _fields but not adding a "spam" attribute to the object.)

Co-authored-by: Jeremy Hylton <jeremy@alum.mit.edu>

gh-110383: Align dict.get(), .fromkeys(), and .setdefault() docs with docstrings (#119330)

gh-119180: Add LOAD_COMMON_CONSTANT opcode (#119321)

The PEP 649 implementation will require a way to load NotImplementedError
from the bytecode. @markshannon suggested implementing this by converting
LOAD_ASSERTION_ERROR into a more general mechanism for loading constants.

This PR adds this new opcode. I will work on the rest of the implementation
of the PEP separately.

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

gh-119205: Fix autocompletion bug in new repl (#119229)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-118893: Evaluate all statements in the new REPL separately (#119318)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

Docs: Add central references to free-threading-related options (#119017)

gh-118692: Avoid creating unnecessary StopIteration instances for monitoring (#119216)

gh-118507 : Refactor `nt._path_is*` to improve applicability for other cases (GH-118755)

gh-119102: Fix REPL for dumb terminal (#119332)

The site module gets the __main__ module to get _pyrepl.__main__.

gh-111201: Remove readline dependency from the PyREPL (#119262)

gh-90562: Mention slots pitfall in dataclass docs (#107391)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Erlend E. Aasland <erlend@python.org>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-119189: Add yet more tests for mixed Fraction arithmetic (GH-119298)

Fix typos in documentation (#119295)

gh-111389: Add PyHASH_MULTIPLIER constant (#119214)

gh-117657: Fix itertools.count thread safety (#119268)

Fix itertools.count in free-threading mode

gh-109176: replace _PyFrame_OpAlreadyRan by an assertion that the frame is complete. (#119234)

gh-119306: Break up _pyrepl tests (#119307)

gh-113978: Ignore warnings on text completion inside REPL (#113979)

GH-110383: Improve Tutorial for Input Ouput (#119230)

Co-authored-by: edson duarte <eduarte.uatach@gmail.com>

gh-110383: Document `socket.makefile()` accepts combined modes (#119150)

The supported mode values are 'r', 'w', and 'b', or a combination of those.

gh-119035: Add Ctrl+← and Ctrl+→ word-skipping keybindings to new repl (#119248)

add word-skipping ctrl keybindings to new repl

GH-119292: Add job to JIT CI to build and test with --disable-gil (GH-119293)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-119053: Implement the fast path for list.__getitem__ (gh-119112)

gh-119102: Fix REPL for dumb terminal (#119269)

Use CAN_USE_PYREPL of _pyrepl.__main__ in the site module to decide
if _pyrepl.write_history_file() can be used.

Use `fail-fast: false` in `mypy.yml` (#119297)

See docs about this setting: https://docs.github.com/en/actions/using-workflows/workflow-syntax-for-github-actions#jobsjob_idstrategyfail-fast

gh-74929: PEP 667 general docs update (gh-119201)

* expand on What's New entry for PEP 667 (including porting notes)
* define 'optimized scope' as a glossary term
* cover comprehensions and generator expressions in locals() docs
* review all mentions of "locals" in documentation (updating if needed)
* review all mentions of "f_locals" in documentation (updating if needed)

gh-119174: Fix high DPI causes turtledemo(turtle-graphics examples) windows blurry (#119175)

------
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

gh-102136: Add -m to options that work with -i (GH-119271)

* GH-102136: Add -m to options that work with -i

* Linting

gh-108267 Fix another dataclasses docs typo (#119277)

gh-111201: Add tests for unix console class in pyrepl (#118653)

gh-119050: Add XML support to libregrtest refleak checker (#119148)

regrtest test runner: Add XML support to the refleak checker
(-R option).

* run_unittest() now stores XML elements as string, rather than
  objects, in support.junit_xml_list.
* runtest_refleak() now saves/restores XML strings before/after
  checking for reference leaks. Save XML into a temporary file.

gh-119253: use ImportError in _ios_support (#119254)

gh-94808: Add test coverage for "starred kind" in _PyPegen_set_expr_context (GH-119222)

Add test coverage for "starred kind" in _PyPegen_set_expr_context

gh-118912: Remove description of issue fixed in 3.5 from autospeccing guide (#119232)

* Remove description of issue fixed in 3.5 from autospeccing guide

* Make autospeccing note text more succint and lint whitespace

* Add linting changes (missed in last commit)

---------

Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

gh-111201: Add more tests to test_pyrepl to cover key translation (#118705)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-119189: Add more tests for mixed Fraction arithmetic (GH-119236)

Docs: Ensure no warnings are found in the NEWS file before a given line number (#119221)

gh-118760: Restore the default value of tkinter.wantobjects to 1 (GH-118784)

It was set to 2 in 65f5e586a1239ed1a66d8284773d7b02ce40e480 (GH-98592).

Use correct markup in unittest.mock.reset_mock documentation (GH-119207)

gh-92081: Fix for email.generator.Generator with whitespace between encoded words. (#92281)

* Fix for email.generator.Generator with whitespace between encoded words.

email.generator.Generator currently does not handle whitespace between
encoded words correctly when the encoded words span multiple lines.  The
current generator will create an encoded word for each line.  If the end
of the line happens to correspond with the end real word in the
plaintext, the generator will place an unencoded space at the start of
the subsequent lines to represent the whitespace between the plaintext
words.

A compliant decoder will strip all the whitespace from between two
encoded words which leads to missing spaces in the round-tripped
output.

The fix for this is to make sure that whitespace between two encoded
words ends up inside of one or the other of the encoded words.  This
fix places the space inside of the second encoded word.

A second problem happens with continuation lines.  A continuation line that
starts with whitespace and is followed by a non-encoded word is fine because
the newline between such continuation lines is defined as condensing to
a single space character.  When the continuation line starts with whitespace
followed by an encoded word, however, the RFCs specify that the word is run
together with the encoded word on the previous line.  This is because normal
words are filded on syntactic breaks by encoded words are not.

The solution to this is to add the whitespace to the start of the encoded word
on the continuation line.

Test cases are from #92081

* Rename a variable so it's not confused with the final variable.

gh-118877: Fix AssertionError crash in pyrepl (#118936)

DOCS: Suggest always calling exec with a globals argument and no locals argument (GH-119235)

Many users think they want a locals argument for various reasons but they do not
understand that it makes code be treated as a class definition. They do not want
their code treated as a class definition and get surprised. The reason not
to pass locals specifically is that the following code raises a `NameError`:

```py
exec("""
def f():
    print("hi")

f()

def g():
    f()
g()
""", {}, {})
```

The reason not to leave out globals is as follows:

```py
def t():
    exec("""
def f():
    print("hi")

f()

def g():
    f()
g()
    """)
```

gh-112844: Update CPE references for external dependencies (#118521)

gh-119219: Remove two obsolete TODOs. (#119223)

Remove two obsolete TODOs.

Amend NEWS category for gh-119196 (#119218)

[docs] TypeVarTuple default is keyword-only (#119215)

gh-115119: Fall back to bundled libmpdec if system libmpdec is not found (#119196)

typing docs: Fix formatting issue (#119210)

gh-119185: Fix typo in `_pyrepl.pager`: `tempfilepager` should be `tempfile_pager` (#118881)

Fix typo in `_pyrepl.pager`: `tempfilepager` should be `tempfile_pager`

The name with no underscore doesn't exist.

gh-103134: Update multiprocessing.managers.ListProxy and DictProxy  (GH-103133)

gh-118928: Remove unneeded sqlite3 NEWS entry (#119208)

The regression in d8e0e0091 was never part of an official release.

gh-118928: sqlite3: correctly bail if sequences of params are used with named placeholders (#119197)

Enable some stricter mypy settings on `Lib/_pyrepl` (#119077)

gh-119121: Fix and test `async.staggered.staggered_race` (#119173)

IDLE: fix url in config.py comment (#119198)

gh-119105: difflib: improve recursion for degenerate cases (#119131)

Code from https://github.com/pulkin, in PR
https://github.com/python/cpython/pull/119131

Greatly speeds `Differ` when there are many identically scoring pairs, by splitting the recursion near the inputs' midpoints instead of degenerating (as now) into just peeling off the first two lines.

Co-authored-by: Tim Peters <tim.peters@gmail.com>

GH-119113: Raise `TypeError` from `pathlib.PurePath.with_suffix(None)` (#119124)

Restore behaviour from 3.12 when `path.with_suffix(None)` is called.

GH-118447: Fix FreeBSD test failures. (#119170)

Apparently only macOS requires read permission to call `readlink()` on a
symlink.

GH-119146: Don't run JIT CI on unrelated changes  (GH-119147)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

marshal docs: Remove reference to "Sun" (#119161)

Nobody has been using a Sun machine for a long time. When I saw
this sentence in a lightning talk just now, I thought it was talking
about sending Python code on a spacecraft.

Try to repair oddball test bots timing out in test_int (#119166)

Various test bots (outside the ones GH normally runs) are timing out during test_int after ecd8664 (asymptotically faster str->int). Best guess is that they don't build the C _decimal module. So require that module in the most likely tests to time out then. Flying mostly blind, though!

gh-118750: Asymptotically faster `int(string)` (#118751)

Asymptotically faster (O(n log n)) str->int for very large strings, leveraging the faster multiplication scheme in the C-coded `_decimal` when available. This is used instead of the current Karatsuba-limited method starting at 2 million digits.

Lots of opportunity remains for fine-tuning. Good targets include changing BYTELIM, and possibly changing the internal output base (from 256 to a higher number of bytes).

Doing this was substantial work, and many of the new lines are actually comments giving correctness proofs. The obvious approaches sticking to integers were too slow to be useful, so this is doing variable-precision decimal floating-point arithmetic. Much faster, but worst-possible rounding errors have to be wholly accounted for, using as little precision as possible.

Special thanks to Serhiy Storchaka for asking many good questions in his code reviews!

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: sstandre <43125375+sstandre@users.noreply.github.com>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>

GH-118447: Fix handling of unreadable symlinks in `os.path.realpath()` (#118489)

Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>

gh-119050: Add type hints to libregrtest/results.py (#119144)

Sort also 'omitted' in TestResults.display_result().

gh-119132: Update sys.version to identify free-threaded or not. (gh-119134)

docs: make mimalloc license text literal (#119046)

gh-119132: Log sys._is_gil_enabled() in test.pythoninfo (#119140)

gh-119078: Clarify venv tutorial (GH-119129)

Minor improvements to the docs for itertools.tee() (gh-119135)

gh-119049: Defer `import warnings` in `pathlib._local` (#119111)

gh-112066: Fix versionadded in PyDict_SetDefaultRef docs (#118696)

Fix typos in documentation (#119092)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Improve `pyrepl` type-annotation coverage (#119081)