gh-100227: Move the Dict of Interned Strings to PyInterpreterState (gh-102339)

We can revisit the options for keeping it global later, if desired.  For now the approach seems quite complex, so we've gone with the simpler isolation solution in the meantime.

https://github.com/python/cpython/issues/100227

GH-102711: Fix warnings found by clang (#102712)

There are some warnings if build python via clang:

Parser/pegen.c:812:31: warning: a function declaration without a prototype is deprecated in all versions of C [-Wstrict-prototypes]
_PyPegen_clear_memo_statistics()
                              ^
                               void

Parser/pegen.c:820:29: warning: a function declaration without a prototype is deprecated in all versions of C [-Wstrict-prototypes]
_PyPegen_get_memo_statistics()
                            ^
                             void

Fix it to make clang happy.

Signed-off-by: Chenxi Mao <chenxi.mao@suse.com>

gh-102558: [Enum] better handling of non-Enum EnumType classes (GH-103060)

gh-103056: [Enum] ensure final _generate_next_value_ is a staticmethod (GH-103062)

gh-74468: [tarfile] Fix incorrect name attribute of ExFileObject (GH-102424)

Co-authored-by: Simeon Visser <svisser@users.noreply.github.com>

gh-100227: Revert gh-102925 "gh-100227: Make the Global Interned Dict Safe for Isolated Interpreters" (gh-103063)

This reverts commit 87be8d9.

This approach to keeping the interned strings safe is turning out to be too complex for my taste (due to obmalloc isolation). For now I'm going with the simpler solution, making the dict per-interpreter. We can revisit that later if we want a sharing solution.

gh-103046: Display current line correctly for `dis.disco()` with CACHE entries (#103047)

gh-103023: Add SyntaxError check in pdb's `display` command (#103024)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-102941: Fix "‘subobj’ may be used uninitialized in this function" warning in `bytes_methods.c` (#102942)

Fix typo in _swappedbytes_ in ctypes comment (#102773)

It's a minor typo, but it makes for a misleading comment.  Let's fix it.

gh-98886: Fix issues with dataclass fields with special underscore names (#102032)

This commit prefixes `__dataclass` to several things in the locals dict:
- Names like `_dflt_` (which cause trouble, see first test)
- Names like `_type_` (not known to be able to cause trouble)
- `_return_type` (not known to able to cause trouble)
- `_HAS_DEFAULT_FACTORY` (which causes trouble, see second test)

In addition, this removes `MISSING` from the locals dict. As far as I can tell, this wasn't needed even in the initial implementation of dataclasses.py (and tests on that version passed with it removed). This makes me wary :-)

This is basically a continuation of #96151, where fixing this was welcomed in https://github.com/python/cpython/pull/98143#issuecomment-1280306360

Update pdb docs for arguments (#102965)

Fix typos in faulthandler, testcapi error messages (#103020)

gh-103027: Update `dataclass.make_dataclass` docstring (gh-103028)

* gh-103027: Update `dataclass.make_dataclass` docstring

gh-103025: fix two ctypes doc issues  (#103026)

GH-102833: Mention the key function in the docstrings (GH-103009)

gh-101100: Test only Doc/ files in nit-picky mode (#103019)

gh-101100: Filter only Doc/ files

gh-100131: Add optional delete parameter to tempfile.TemporaryDirectory() (#100132)

Add optional delete parameter to tempfile.TemporaryDirectory().

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-102980: Add tests for pdf's display, alias and where commands (#102981)

gh-102873: logging.LogRecord docs: improve description of `msg` parameter (#102875)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-100372: Use BIO_eof to detect EOF for SSL_FILETYPE_ASN1 (GH-100373)

In PEM, we need to parse until error and then suppress `PEM_R_NO_START_LINE`, because PEM allows arbitrary leading and trailing data. DER, however, does not. Parsing until error and suppressing `ASN1_R_HEADER_TOO_LONG` doesn't quite work because that error also covers some cases that should be rejected.

Instead, check `BIO_eof` early and stop the loop that way.

Automerge-Triggered-By: GH:Yhg1s

gh-101100: Test docs in nit-picky mode (#102513)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

GH-100989: remove annotation from docstring (GH-102991)

GH-100989: Revert Improve the accuracy of collections.deque docstrings (GH-102979)

gh-94684: uuid: support bytes in the name argument to uuid3/5 (#94709)

RFC 4122 does not specify that name should be a string, so for completness the functions should also support a name given as a raw byte sequence.

gh-99726: Fix order of recently added fields for FILE_STAT_BASIC_INFORMATION (GH-102976)

GH-100982: Break up COMPARE_AND_BRANCH (GH-102801)

gh-102558: [Enum] fix AttributeError during member repr() (GH-102601)

Minor readability improvement to the factor() recipe (GH-102971)

gh-98239: Document that `inspect.getsource()` can raise `TypeError` (#101689)

gh-102936: typing: document performance pitfalls of protocols decorated with `@runtime_checkable` (#102937)

Move binomialvariate() to a section for discrete distributions (GH-102955)

gh-102810 Improve the sphinx docs for `asyncio.Timeout` (#102934)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102943: Stop checking localized error text in socket tests on Windows (GH-102944)

gh-88965: typing: fix type substitution of a list of types  after initial `ParamSpec` substitution (#102808)

Previously, this used to fail:

```py
from typing import *
T = TypeVar("T")
P = ParamSpec("P")

class X(Generic[P]):
    f: Callable[P, int]

Y = X[[int, T]]
Z = Y[str]
```

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102947: Improve traceback when calling `fields()` on a non-dataclass (#102948)

Docs: fixup incorrect escape char in sqlite3 docs (#102945)

gh-102939: Fix "conversion from Py_ssize_t to long" warning in builtins (GH-102940)

gh-100227: Make the Global Interned Dict Safe for Isolated Interpreters (gh-102925)

This is effectively two changes.  The first (the bulk of the change) is where we add _Py_AddToGlobalDict() (and _PyRuntime.cached_objects.main_tstate, etc.).  The second (much smaller) change is where we update PyUnicode_InternInPlace() to use _Py_AddToGlobalDict() instead of calling PyDict_SetDefault() directly.

Basically, _Py_AddToGlobalDict() is a wrapper around PyDict_SetDefault() that should be used whenever we need to add a value to a runtime-global dict object (in the few cases where we are leaving the container global rather than moving it to PyInterpreterState, e.g. the interned strings dict).  _Py_AddToGlobalDict() does all the necessary work to make sure the target global dict is shared safely between isolated interpreters.  This is especially important as we move the obmalloc state to each interpreter (gh-101660), as well as, potentially, the GIL (PEP 684).

https://github.com/python/cpython/issues/100227

[doc] Fix error in tutorial example: type(exc) is the type rather than the instance (#102751)

gh-102921: [doc] Clarify `exc` argument name in `BaseExceptionGroup` is plural (#102922)

gh-102859: Remove JUMP_IF_FALSE_OR_POP and JUMP_IF_TRUE_OR_POP (#102870)

gh-102780: Fix uncancel() call in asyncio timeouts (#102815)

Also use `raise TimeOut from <CancelledError instance>` so that the CancelledError is set
in the `__cause__` field rather than in the `__context__` field.

Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102033: Fix syntax error in `Tools/c-analyzer` (GH-102066)

The easiest way to format strings with `{}` meaningful chars is via `%`.

GH-101291: Rearrange the size bits in PyLongObject (GH-102464)

* Eliminate all remaining uses of Py_SIZE and Py_SET_SIZE on PyLongObject, adding asserts.

* Change layout of size/sign bits in longobject to support future addition of immortal ints and tagged medium ints.

* Add functions to hide some internals of long object, and for setting sign and digit count.

* Replace uses of IS_MEDIUM_VALUE macro with _PyLong_IsCompact().

GH-89727: Fix pathlib.Path.walk RecursionError on deep trees (GH-100282)

Use a stack to implement `pathlib.Path.walk()` iteratively instead of recursively to avoid hitting recursion limits on deeply nested trees.

Co-authored-by: Barney Gale <barney.gale@gmail.com>
Co-authored-by: Brett Cannon <brett@python.org>

gh-96931: Fix incorrect results in ssl.SSLSocket.shared_ciphers (#96932)

gh-102027: Fix macro name (#102124)

This fixes the ssse3 / sse2 detection when sse4 is available.

Co-authored-by: Oleg Iarygin <oleg@arhadthedev.net>

gh-101947: Remove size check from sqlite3 serialize test (#102914)

The size of the returned data is too implementation specific.

gh-101313: Add -h and --help arguments to the webbrowser module (gh-101374)

GH-95494: Fix transport EOF handling in OpenSSL 3.0 (GH-95495)

GH-25309 enabled SSL_OP_IGNORE_UNEXPECTED_EOF by default, with a comment
that it restores OpenSSL 1.1.1 behavior, but this wasn't quite right.
That option causes OpenSSL to treat transport EOF as the same as
close_notify (i.e. SSL_ERROR_ZERO_RETURN), whereas Python actually has
distinct SSLEOFError and SSLZeroReturnError exceptions. (The latter is
usually mapped to a zero return from read.) In OpenSSL 1.1.1, the ssl
module would raise them for transport EOF and close_notify,
respectively. In OpenSSL 3.0, both act like close_notify.

Fix this by, instead, just detecting SSL_R_UNEXPECTED_EOF_WHILE_READING
and mapping that to the other exception type.

There doesn't seem to have been any unit test of this error, so fill in
the missing one. This had to be done with the BIO path because it's
actually slightly tricky to simulate a transport EOF with Python's fd
based APIs. (If you instruct the server to close the socket, it gets
confused, probably because the server's SSL object is still referencing
the now dead fd?)

Docs: improve accuracy of sqlite3.Connection.interrupt() (#102904)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-100989: Improve the accuracy of collections.deque docstrings (#100990)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

Docs: improve the accuracy of the sqlite3.connect() timeout param (#102900)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

GH-94808: Cover `PyOS_mystrnicmp` and `PyOS_mystricmp` (gh-102469)

Docs: improve accuracy of pdb alias example (#102892)

gh-102839: remove AC for math.log (GH-102863)

Add link to `sys.exit` function documentation (#102805)

* Add link to `sys.exit` function documentation

* Update Doc/library/os.rst

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
* Update Doc/library/os.rst

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
---------

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-102406: replace exception chaining by PEP-678 notes in codecs (#102407)

gh-94673: Isolate the _io module to Each Interpreter (gh-102663)

Aside from sys and builtins, _io is the only core builtin module that hasn't been ported to multi-phase init.  We may do so later (e.g. gh-101948), but in the meantime we must at least take care of the module's static types properly.  (This came up while working on gh-101660.)

https://github.com/python/cpython/issues/94673

gh-102860: improve performance of compiler's instr_sequence_to_cfg (#102861)

gh-98608: Fix Failure-handling in new_interpreter() (gh-102658)

The error-handling code in new_interpreter() has been broken for a while.  We hadn't noticed because those code mostly doesn't fail.  (I noticed while working on gh-101660.)  The problem is that we try to clear/delete the newly-created thread/interpreter using itself, which just failed.  The solution is to switch back to the calling thread state first.

https://github.com/python/cpython/issues/98608

Tweak polynomial itertool recipes (GH-102880)

gh-102304: Move the Total Refcount to PyInterpreterState (gh-102545)

Moving it valuable with a per-interpreter GIL.  However, it is also useful without one, since it allows us to identify refleaks within a single interpreter or where references are escaping an interpreter.  This becomes more important as we move the obmalloc state to PyInterpreterState.

https://github.com/python/cpython/issues/102304

gh-102876: remove superfluous parens from itertools.batched recipe (GH-102877)

remove superfluous parens from itertools.batched recipe

gh-98608: Stop Treating All Errors from _Py_NewInterpreterFromConfig() as Fatal (gh-102657)

Prior to this change, errors in _Py_NewInterpreterFromConfig() were always fatal.  Instead, callers should be able to handle such errors and keep going.  That's what this change supports.  (This was an oversight in the original implementation of _Py_NewInterpreterFromConfig().)  Note that the existing [fatal] behavior of the public Py_NewInterpreter() is preserved.

https://github.com/python/cpython/issues/98608

gh-102595: Document `PyObject_Format` c-api function (GH-102596)

Def: https://github.com/python/cpython/blame/5ffdaf748d98da6065158534720f1996a45a0072/Include/abstract.h#L389

gh-102828: emit deprecation warning for onerror arg to shutil.rmtree (#102850)

gh-102799: Let pydoc use the exception instead of sys.exc_info (#102830)

gh-102755: PyErr_DisplayException only in ABI >= 3.12. Tests cover PyErr_Display as well (GH-102849)

gh-102598: Remove obsolete optimization from `FORMAT_VALUE` opcode (#102599)

The pow() variant further improves accuracy (GH-102866)

Remove itermediate list. Expand docstring. (GH-102862)

gh-102809: Remove `Misc/gdbinit` (#102854)

Looks like the consensus is that we don't need this file anymore.
Old version can be always found here: https://github.com/python/cpython/blob/094cf392f49d3c16fe798863717f6c8e0f3734bb/Misc/gdbinit

Add itertool recipe for polynomial evaluation. (GH-102852)

gh-102304: Fix Non-Debug Builds (gh-102846)

Some debug-only code slipped in with gh-102543.

https://github.com/python/cpython/issues/102304

gh-102304: Add a What's New Entry About _Py_RefTotal (gh-102845)

https://github.com/python/cpython/issues/102304

gh-102304: Move _Py_RefTotal to _PyRuntimeState (gh-102543)

The essentially eliminates the global variable, with the associated benefits. This is also a precursor to isolating this bit of state to PyInterpreterState.

Folks that currently read _Py_RefTotal directly would have to start using _Py_GetGlobalRefTotal() instead.

https://github.com/python/cpython/issues/102304

gh-102255: Use GetVersionEx instead of GetVersionExW to match argument type (GH-102583)

Since we pass a structure of type `OSVERSIONINFOEX`, we need to call
`GetVersionEx` instead of `GetVersionExW`.

gh-72346: Added isdst deprecation warning to email.utils.localtime (GH-91450)

gh-102828: fix test failure (add missing skip instructions) (#102835)

gh-102491: Remove IronPython version check in sys_version (#102492)

gh-102810: Add docstrings to the public-facing methods of `asyncio.Timeout` (#102811)

Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102828: add onexc arg to shutil.rmtree. Deprecate onerror. (#102829)

gh-102778: revert changes to idlelib (#102825)

gh-102755: fix refleak (#102826)

gh-102192: Replace PyErr_Fetch/Restore etc by more efficient alternatives (#102816)

Add more comments to hypot() (GH-102817)

gh-102192: Replace PyErr_Fetch/Restore etc by more efficient alternatives (#102769)

gh-102778: Add sys.last_exc, deprecate sys.last_type, sys.last_value,sys.last_traceback (#102779)

gh-101975: Fixed a potential SegFault on garbage collection (GH-102803)

gh-102799: remove unnecessary calls to sys.exc_info() in tests (#102800)

Simplify and improve accuracy for subnormals in hypot() (GH-102785)

gh-102781: fix cwd dependence in cases generator (#102782)

gh-102701: Fix overflow in dictobject.c (GH-102750)

GH-78530: add support for generators in `asyncio.wait` (#102761)

Increase stack reserve size for Windows debug builds to avoid test crashes (GH-102764)

gh-102755: Add PyErr_DisplayException(exc) (#102756)

Fix outdated note about 'int' rounding or truncating (#102736)

gh-102192: Replace PyErr_Fetch/Restore etc by more efficient alternatives (#102760)