Support comparing two sets of pystats (GH-98816)

This adds support for comparing pystats collected from two different builds.

- The `--json-output` can be used to load in a set of raw stats and output a
  JSON file.
- Two of these JSON files can be provided on the next run, and then comparative
  results between the two are output.

gh-94808: Cover `LOAD_GLOBAL` for custom dict subtypes (GH-96767)

Docs: add `named` to the list of styles in the sqlite3.paramstyle attr docs (#99078)

gh-90716: bugfixes and more tests for _pylong. (#99073)

* Properly decref on _pylong import error.
* Improve the error message on _pylong TypeError.
* Fix the assertion error in pydebug builds to be a TypeError.
* Tie the return value comments together.

These are minor followups to issues not caught among the reviewers on
https://github.com/python/cpython/pull/96673.

gh-73691:  Increase size limits in _xxtestfuzz (#99070)

Now that our int<->str conversions are size limited and we have the
_pylong module handling larger integers, we don't need to limit
everything just to avoid wasting time in the quadratic time DoS-like
case while fuzzing.

We can tweak these further after seeing how this goes.

GH-90699: Remove `_Py_IDENTIFIER` usage from `_ctypes`  (GH-99054)

gh-92584: Remove the distutils package (#99061)

Remove the distutils package. It was deprecated in Python 3.10 by PEP
632 "Deprecate distutils module". For projects still using distutils
and cannot be updated to something else, the setuptools project can
be installed: it still provides distutils.

* Remove Lib/distutils/ directory
* Remove test_distutils
* Remove references to distutils
* Skip test_check_c_globals and test_peg_generator since they use
  distutils

gh-98978: Fix Py_SetPythonHome(NULL) (#99066)

Fix use-after-free in Py_SetPythonHome(NULL), Py_SetProgramName(NULL)
and _Py_SetProgramFullPath(NULL) function calls.

Issue reported by Benedikt Reinartz.

gh-94172: Remove keyfile, certfile and check_hostname parameters (#94173)

Remove the keyfile, certfile and check_hostname parameters,
deprecated since Python 3.6, in modules: ftplib, http.client,
imaplib, poplib and smtplib. Use the context parameter (ssl_context
in imaplib) instead.

Parameters following the removed parameters become keyword-only
parameters.

ftplib: Remove the FTP_TLS.ssl_version class attribute: use the
context parameter instead.

gh-90716: Remove _pylong._DEBUG flag (#99063)

To debug the _pylong module, it's trivial to add this code again
locally. There is not need to keep it in Python releases.

gh-98884: [pathlib] remove `hasattr` check for `lru_cache` (#98885)

gh-92584: Remove references to removed _bootsubprocess (#99062)

The _bootsubprocess module was removed in gh-93939
by commit 81dca70d704d0834d8c30580e648a973250b2973.

gh-97909: PyMemberDef & PyGetSetDef members are not marked up (GH-98810)

gh-98401: Invalid escape sequences emits SyntaxWarning (#99011)

A backslash-character pair that is not a valid escape sequence now
generates a SyntaxWarning, instead of DeprecationWarning.  For
example, re.compile("\d+\.\d+") now emits a SyntaxWarning ("\d" is an
invalid escape sequence), use raw strings for regular expression:
re.compile(r"\d+\.\d+"). In a future Python version, SyntaxError will
eventually be raised, instead of SyntaxWarning.

Octal escapes with value larger than 0o377 (ex: "\477"), deprecated
in Python 3.11, now produce a SyntaxWarning, instead of
DeprecationWarning. In a future Python version they will be
eventually a SyntaxError.

codecs.escape_decode() and codecs.unicode_escape_decode() are left
unchanged: they still emit DeprecationWarning.

* The parser only emits SyntaxWarning for Python 3.12 (feature
  version), and still emits DeprecationWarning on older Python
  versions.
* Fix SyntaxWarning by using raw strings in Tools/c-analyzer/ and
  wasm_build.py.

GH-98831: Remove redundant extract_cases.py script (GH-99065)

Debt I owe from PR GH-98830.

gh-97616: test_list_resize_overflow() uses sys.maxsize (#99057)

gh-83004: Clean up refleak in _io initialisation (#98840)

gh-98948: Remove obsolete readelf dependency (#98949)

This got introduced in commit 5884449539510313c826d69835829c7957c7154a
to determine if readline is already linked against curses or tinfo in
the setup.py, which is no longer present.

gh-94199: Remove ssl.wrap_socket() documentation (#99023)

The function has been removed. In the ssl documentation, replace
references to the ssl.wrap_socket() function with references to the
ssl.SSLContext.wrap_socket() method.

Co-authored-by: Illia Volochii <illia.volochii@gmail.com>

GH-96793: Implement PEP 479 in bytecode. (GH-99006)

* Handle converting StopIteration to RuntimeError in bytecode.

* Add custom instruction for converting StopIteration into RuntimeError.

gh-98740: Fix validation of conditional expressions in RE (GH-98764)

In very rare circumstances the JUMP opcode could be confused with the
argument of the opcode in the "then" part which doesn't end with the
JUMP opcode. This led to incorrect detection of the final JUMP opcode
and incorrect calculation of the size of the subexpression.

NOTE: Changed return value of functions _validate_inner() and
_validate_charset() in Modules/_sre/sre.c.  Now they return 0 on success,
-1 on failure, and 1 if the last op is JUMP (which usually is a failure).
Previously they returned 1 on success and 0 on failure.

GH-98831: "Generate" the interpreter (#98830)

The switch cases (really TARGET(opcode) macros) have been moved from ceval.c to generated_cases.c.h. That file is generated from instruction definitions in bytecodes.c (which impersonates a C file so the C code it contains can be edited without custom support in e.g. VS Code).

The code generator lives in Tools/cases_generator (it has a README.md explaining how it works). The DSL used to describe the instructions is a work in progress, described in https://github.com/faster-cpython/ideas/blob/main/3.12/interpreter_definition.md.

This is surely a work-in-progress. An easy next step could be auto-generating super-instructions.

**IMPORTANT: Merge Conflicts**

If you get a merge conflict for instruction implementations in ceval.c, your best bet is to port your changes to bytecodes.c. That file looks almost the same as the original cases, except instead of `TARGET(NAME)` it uses `inst(NAME)`, and the trailing `DISPATCH()` call is omitted (the code generator adds it automatically).

gh-98999: Raise `ValueError` in `_pyio` on closed buffers (gh-99009)

Docs: Add 'as, match statement' to the index (#99001)

gh-98512: Add more tests for `ValuesView` (#98515)

argparse howto: Use f-string in preference to "...".format() (#98883)

gh-96997: Clarify the contract of PyMem_SetAllocator() (#98977)

GH-90699: Remove `_Py_IDENTIFIER` usage from `_elementtree` module (GH-99012)

gh-98393: Update test_os for bytes-like types (#98487)

Address Serhiy Storchaka's review.

gh-97731: Specify the full path to the docs for `make docclean` (GH-98982)

Specify the full path to the docs for `make docclean`
This is to have `make clean` not error out on cross-builds.

gh-98415: Fix uuid.getnode() ifconfig implementation (#98423)

The uuid.getnode() function has multiple implementations, tested sequentially.
The ifconfig implementation was incorrect and always failed: fix it.

In practice, functions of libuuid library are preferred, if available:
uuid_generate_time_safe(), uuid_create() or uuid_generate_time().

Co-authored-by: Dong-hee Na <donghee.na92@gmail.com>

gh-98790: When DLLs directory is missing on Windows, assume executable_dir contains PYD files instead (GH-98936)

gh-99016: Make build scripts compatible with Python 3.8 (GH-99017)

GH-98686: Quicken everything (GH-98687)

GH-90699: Remove `_Py_IDENTIFIER` usage from `_asyncio` module (#99010)

gh-98989: configure: add 3.11 to list of Pythons (#98988)

Closes #98989

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

GH-90699: Remove `_Py_IDENTIFIER` usage from `_json` module (GH-98956)

gh-87092: remove unused SET_LOC/UNSET_LOC macros (GH-98914)

GH-90699: Remove `_Py_IDENTIFIER` usage from `_curses` module (GH-98957)

gh-87092: do not allocate PyFutureFeatures dynamically (GH-98913)

gh-98903: Test suite fails with exit code 4 if no tests ran (#98904)

The Python test suite now fails wit exit code 4 if no tests ran. It
should help detecting typos in test names and test methods.

* Add "EXITCODE_" constants to Lib/test/libregrtest/main.py.
* Fix a typo: "NO TEST RUN" becomes "NO TESTS RAN"

gh-96265: Formatting changes for faq/programming (#98242)

* Formatting changes for faq/programming

* Add missing method formatting, use non-literal formatting

* Fix sphinx warnings

* Some extra formatting missed earlier

* More formatting suggestions from review

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
* Add missing colon, avoid referening external module

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-92679: Clarify asyncio.loop.start_tls parameters (#92682)

gh-92871: Postpone the removal of typing.{io,re} to 3.13 (#98958)

[doc] Update cookbook example for socket-based logging in a production sett… (GH-98922)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-98925: Lower marshal recursion depth for WASI (GH-98938)

For wasmtime 2.0, the stack depth cost is 6% higher. This causes the default max `marshal` recursion depth to blow the stack.

As the default marshal depth is 2000 and Windows is set to 1000, split the difference and choose 1500 for WASI to be safe.

gh-98689: Update Windows builds to zlib v1.2.13 (GH-98968)

Doc: use "unnumbered" footnotes (#98954)

Use unnumbered footnote in this file to avoid reseting the footnotes numbering.

Example: when building the tutorial into a PDF and using `latex_show_urls = "footnotes"`; this footnote become the number 8. However, without this change, the footnote shows the number 1.

gh-98931: Improve error message when the user types 'import x from y' instead of 'from y import x' (#98932)

gh-98852: Fix subscription of type aliases (GH-98920)

Fix subscription of type aliases containing bare generic types or types
like TypeVar: for example tuple[A, T][int] and tuple[TypeVar, T][int],
where A is a generic type, and T is a type variable.

GH-98766: Modest speed-up from ChainMap.__iter__ (GH-98946)

gh-98658: Add __class_getitem__ to array.array (#98661)

Closes #98658

Rename JUMP_TO_INSTRUCTION to GO_TO_INSTRUCTION (#98934)

This reduces confusion between jumps at the bytecode level
(e.g. JUMPTO(), JUMPBY(), and various JUMP_*() opcodes)
and jumps in the C code (which are 'goto' statements).

Fix wording in Functional Programming HOWTO (GH-98939)

Missing PS1 prompt in tutorial example (GH-98921)

GH-98897: fix memory leak if `math.dist` raises exception (GH-98898)

gh-98692: Enable treating shebang lines as executables in py.exe launcher (GH-98732)

gh-98610: Adjust the Optional Restrictions on Subinterpreters (GH-98618)

Previously, the optional restrictions on subinterpreters were: disallow fork, subprocess, and threads.  By default, we were disallowing all three for "isolated" interpreters.  We always allowed all three for the main interpreter and those created through the legacy `Py_NewInterpreter()` API.

Those settings were a bit conservative, so here we've adjusted the optional restrictions to: fork, exec, threads, and daemon threads.  The default for "isolated" interpreters disables fork, exec, and daemon threads.  Regular threads are allowed by default.  We continue always allowing everything For the main interpreter and the legacy API.

In the code, we add `_PyInterpreterConfig.allow_exec` and  `_PyInterpreterConfig.allow_daemon_threads`.  We also add `Py_RTFLAGS_DAEMON_THREADS` and `Py_RTFLAGS_EXEC`.

Fix typo in sorting HOWTO (#98888)

Doc: Fix sphinx-lint issues (GH-98911)

They were introduced right between GH-98441 and GH-98408.

gh-98576: Fix types in dataclass.InitVar example (gh-98577)

gh-98410: move getbufferproc and releasebufferproc to buffer.h (#31158)

This adds them to the Limited API.

gh-98878: Use builtins from the bound frame when offering a suggestion (#98880)

gh-98811: use full source location to simplify __future__ imports error checking. This also fixes an incorrect error offset. (GH-98812)

gh-96151: Use a private name for passing builtins to dataclass. This now allows for a field named BUILTIN (gh-98143)

gh-98879: Remove unreachable error case from COMPARE_OP_STR_JUMP (GH-98882)

Thanks to PEP 623 changes, the comparison cannot fail.

gh-97966: Update uname docs to clarify the special nature of the platform attribute and to indicate when it became late-bound. (#97972)

gh-96853: Restore test coverage for Py_Initialize(Ex) (GH-98212)

* As most of `test_embed` now uses `Py_InitializeFromConfig`, add
  a specific test case to cover `Py_Initialize` (and `Py_InitializeEx`)
* Rename `_testembed` init helper to clarify the API used
* Add a `PyConfig_Clear` call in `Py_InitializeEx` to make
  the code more obviously correct (it already didn't leak as
  none of the dynamically allocated config fields were being
  populated, but it's clearer if the wrappers follow the
  documented API usage guidelines)

gh-98783: Fix crashes when `str` subclasses are used in `_PyUnicode_Equal` (#98806)

gh-98793: Fix typecheck in `overlapped.c` (#98835)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

glossary.rst: Fix typo in package definition (GH-98865)

This is a tiny typo fix of package definition in glossary.
According to https://devguide.python.org/documentation/help-documenting/ simple typos don’t require issues of their own, but, instead, a pull request can by submitted directly.

Automerge-Triggered-By: GH:AlexWaygood

Fix typo in docs (GH-98863)

gh-93358: Fix python-config docs for how to embed Python (#98649)

Fix comment typos in `_operator.c` (#98853)

dataclasses docs: consistent indentation (4 spaces) in examples (#98855)

GH-90352: fix _SelectorDatagramTransport to inherit from DatagramTransport (#98844)

gh-98744: Prevent column-level decoding crashes on traceback module (#98824)

gh-98286: handle empty filename in ZipFile/ZipInfo properly (#98346)

effectively code modernization and a meaningful exception.

gh-98240: Updated Path.rename docs, when it is atomic (GH-98245)

gh-84538: add strict argument to pathlib.PurePath.relative_to (GH-19813)

By default, :meth:`pathlib.PurePath.relative_to` doesn't deal with paths that are not a direct prefix of the other, raising an exception in that instance. This change adds a *walk_up* parameter that can be set to allow for using ``..`` to calculate the relative path.

example:
```
>>> p = PurePosixPath('/etc/passwd')
>>> p.relative_to('/etc')
PurePosixPath('passwd')
>>> p.relative_to('/usr')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "pathlib.py", line 940, in relative_to
    raise ValueError(error_message.format(str(self), str(formatted)))
ValueError: '/etc/passwd' does not start with '/usr'
>>> p.relative_to('/usr', strict=False)
PurePosixPath('../etc/passwd')
```

https://bugs.python.org/issue40358

Automerge-Triggered-By: GH:brettcannon

Fix typo in contextvars docs (#98823)

gh-92452: Avoid race in initialization of sysconfig._CONFIG_VARS

Co-authored-by: Filipe Laíns <lains@riseup.net>

`argparse` docs: normalize constant references (#98765)

gh-98776: Fix make regen-test-levenshtein for out-of-tree builds (GH-98779)

Fixes https://github.com/python/cpython/issues/98776

Automerge-Triggered-By: GH:erlend-aasland

gh-98657: [docs] `array.typecodes` is a module-level attribute (#98729)

* gh-98657: [docs] `array.typecodes` is a module-level attribute

* Update array.rst

gh-65002: Make note that null bytes are used to pad bytes (#98635)

gh-98745: Allow py.exe launcher to install 3.11 by default and 3.12 on request (GH-98780)

gh-98624 Add mutex to unittest.mock.NonCallableMock (#98688)

* Added lock to NonCallableMock in unittest.mock

* Add blurb

* Nitpick blurb

* Edit comment based on @Jason-Y-Z's review

* Add link to GH issue

gh-98789: Fix FOR_ITER assert on big-endian (GH-98792)

Fix FOR_ITER assertion syntax

gh-98739: Update libexpat from 2.4.9 to 2.5.0 (#98742)

* Update libexpat from 2.4.9 to 2.5.0 to address CVE-2022-43680.

Co-authored-by: Shaun Walbridge <shaun.walbridge@gmail.com>

obmalloc: Remove unused variable. (GH-98770)

gh-96143: Improve perf profiler docs (#96445)

GH-96793: Change `FOR_ITER` to not pop the iterator on exhaustion. (GH-96801)

Change FOR_ITER to have the same stack effect regardless of whether it branches or not.
Performance is unchanged as FOR_ITER (and specialized forms jump over the cleanup code).

gh-98586: Add vector call APIs to the Limited API (GH-98587)

Expose the facilities for making vector calls through Python's limited API.

Python documents state elsewhere that a comma is not an operator, so … (GH-98736)

…calling it an operator here is confusing. See https://docs.python.org/3/reference/lexical_analysis.html#operators and https://docs.python.org/3/faq/programming.html#id22.

gh-98627: Use a Switch in PyModule_FromDefAndSpec2() (gh-98734)

This helps simplify some changes in follow-up PRs.  It also matches what we're doing in PyModule_ExecDef().

gh-98703: Add tests for closing `_ProactorSocketTransport` with proactor event loop (GH-98730)

gh-98703: Fix asyncio proactor_events calling _call_connection_lost multiple times (GH-98704)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

gh-94808: cover `PyFunction_GetDefaults` and `PyFunction_SetDefaults` (#98449)

Fix readline.c compiler warning. (GH-98738)

```
Modules/readline.c:1260:37: warning: assigning to 'char *' from 'const char *' discards qualifiers [-Wincompatible-pointer-types-discards-qualifiers]
    completer_word_break_characters =
                                    ^
```