Python 3.11.0a5

bpo-46436: Fix command-line option -d/--directory in module http.server (GH-30701)

Fix command-line option -d/--directory in http.server main
function that was ignored when combined with --cgi.

Automerge-Triggered-By: GH:merwok

bpo-46569: [Enum] fix typo in `StrEnum` docs (GH-31007)

bpo-46624: Defer to 3.12: "Remove deprecated support for non-integer values" (GH-31098)

bpo-45885: Add more stats for COMPARE_OP in specialize.c (GH-31040)

bpo-45773: Remove invalid peephole optimizations (GH-31066)

bpo-44977: Deprecate delegation of int to __trunc__ (GH-31031)

Calling int(a) when type(a) implements __trunc__ but not __int__
or __index__ now raises a DeprecationWarning.

bpo-46483: Remove `__class_getitem__` from `pathlib.PurePath` (GH-30848)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-46565: `del` loop vars that are leaking into module namespaces (GH-30993)

Restrict use of Mock objects as specs (GH-31090)

Follow-on to https://github.com/python/cpython/pull/25326

This covers cases where mock objects are passed directly to spec.

bpo-45629: Improve test.support.skip_if_buildbot (GH-31094)

It was added as part of #29222 to avoid running freeze tool tests on the
buildbots but the logic was wrong so it did not skip tests on typical posix
setup buildbots where the worker is launched from cron via an @reboot task and
thus have no USER environment variable.  This uses the canonical
`getpass.getuser()` API rather than rolling its own attempt.

bpo-45975: Use walrus operator for some idlelib while loops (GH-31083)

bpo-46576: bpo-46524: Disable compiler optimization within test_peg_generator. (#31015)

Disable compiler optimization within test_peg_generator.

This speed up test_peg_generator by always disabling compiler
optimizations by using -O0 or equivalent when the test is building its
own C extensions.

A build not using --with-pydebug in order to speed up test execution
winds up with this test taking a very long time as it would do
repeated compilation of parser C code using the same optimization
flags as CPython was built with.

This speeds the test up 6-8x on gps-raspbian.

Also incorporate's #31017's win32 conditional and flags.

Co-authored-by: Kumar Aditya kumaraditya303

bpo-46616: Ensures test_importlib.test_windows cleans up registry keys after completion (GH-31086)

bpo-45173: Keep configparser deprecations until Python 3.12 (GH-30952)

* Revert "bpo-45173 Remove configparser deprecations"

This reverts commit df2284bc416dcccba1125b12af4499c45baabe4f.

* bpo-45173: Note these configparser deprecations will be removed in 3.12

bpo-37705: Remove orphaned PC/errmap.mak (GH-29724)

After GH-15623 deleted `generrmap.c`, a related mak-file stopped working. The mak contains generrmap-related rules only so it should be removed altogether.

Further search for `errmap\.mak|generrmap` regex through content of CPython files shows no dangling reference left.

Since generrmap is already effectively removed, this pull request contains no blurp.

bpo-46433: _PyType_GetModuleByDef: handle static types in MRO (GH-30696)

Automerge-Triggered-By: GH:encukou

Add specialization stats for FOR_ITER. (GH-31079)

 bpo-45459: Add Py_buffer to limited API (GH-29991)

- [x] ``Py_buffer`` struct
- [x] ``PyBuffer_*()`` API functions
- [x] ``PyBUF_*`` constants
- [x] ``Py_bf_getbuffer`` and ``Py_bf_releasebuffer`` type slots
- [x] ``PyMemoryView_FromBuffer()`` API
- [x] tests for limited API
- [x] ``make regen-limited-abi``
- [x] documentation update
- [ ] export ``PyPickleBuffer*()`` API ???

bpo-43012: remove `pathlib._Accessor` (GH-25701)

Per Pitrou:

> The original intent for the “accessor” thing was to have a variant that did all accesses under a filesystem tree in a race condition-free way using openat and friends. It turned out to be much too hairy to actually implement, so was entirely abandoned, but the accessor abstraction was left there.

https://discuss.python.org/t/make-pathlib-extensible/3428/2

Accessors are:

- Lacking any internal purpose - '_NormalAccessor' is the only implementation
- Lacking any firm conceptual difference to `Path` objects themselves (inc. subclasses)
- Non-public, i.e. underscore prefixed - '_Accessor' and '_NormalAccessor'
- Unofficially used to implement customized `Path` objects, but once once [bpo-24132]() is addressed there will be a supported route for that.

This patch preserves all existing behaviour.

bpo-46072: Add some frame stats. (GH-31060)

Remove Python 3.3 compatibility code from overlapped.c (GH-31049)

bpo-46583: remove unused `sys.version_info` check from `selectors` (GH-31023)

Add recipe for subslices (GH-31028)

Fix minor details in the Counter docs (GH-31029)

bpo-46414: Add typing.reveal_type (#30646)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

bpo-46602: Do not append conftest.c (GH-31062)

The heredoc creation statements use >> to append conftest.c.  This can cause
tricky build issues if the file is not correctly removed prior to its
name being reused (such name is reused several times for different
contextual tests during the build).  One such result from appending may
cause #include <ac_nonexistent.h> to persist when testing to acquire
PLATFORM_TRIPLET.  This can then lead to downstream issues concerning SOABI.

bpo-44359: Fix test_ftplib unhandled thread exceptions (GH-31069)

test_ftplib now silently ignores socket errors to prevent logging
unhandled threading exceptions.

bpo-46591: Make About IDLE doc link label clickable (GH-30251)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-14916: use specified tokenizer fd for file input (GH-31006)

@pablogsal, sorry i failed to rebase to main, so i recreated https://github.com/python/cpython/pull/22190#issuecomment-1024633392

> PyRun_InteractiveOne\*() functions allow to explicitily set fd instead of stdin.
but stdin was hardcoded in readline call.

> This patch does not fix target file for prompt unlike original bpo one : prompt fd is unrelated to tokenizer source which could be read only. It is more of a bugfix regarding the docs :  actual documentation say "prompt the user" so one would expect prompt to go on stdout not a file for both PyRun_InteractiveOne\*() and PyRun_InteractiveLoop\*().

Automerge-Triggered-By: GH:pablogsal

bpo-46528: Simplify BUILD_TUPLE/UNPACK_SEQUENCE folding (GH-31039)

bpo-46600: Fix test_gdb.test_pycfunction() for clang -Og (GH-31058)

Fix test_gdb.test_pycfunction() for Python built with clang -Og.
Tolerate inlined functions in the gdb traceback.

When _testcapimodule.c is built by clang -Og, _null_to_none() is
inlined in meth_varargs() and so gdb returns _null_to_none() as
the frame #1. If it's not inlined, meth_varargs() is the frame #1.

bpo-45953: Preserve backward compatibility on some PyThreadState field names. (GH-31038)

The gevent project is using the two `PyThreadState` fields I renamed in gh-30590.  This PR fixes the names.  See #msg412046.

bpo-46487: Add `get_write_buffer_limits` to Write and _SSLProtocol transports (GH-30958)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-45925: Update macOS installer to SQLite 3.37.2 (GH-30921)

Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>

bpo-46072: Add some object layout and allocation stats (GH-31051)

bpo-46584: remove check for `py2.3` from `ctypes/test_python_api` (GH-31024)

bpo-46600: ./configure --with-pydebug uses -Og with clang (GH-31052)

Fix the test checking if the C compiler supports -Og option in the
./configure script to also use -Og on clang which supports it.

bpo-46564: do not create frame object for super object (GH-31002)

bpo-44031: fix test_tabnanny failure in non-ascii CWD (GH-31014)

bpo-46355: What's New: Note that PyFrameObject are private (GH-31032)

This adds a slightly more detailed explanation of the change.
The most important point is that the changed/removed fields
were "subject to change" to begin with.

bpo-46482: add a test for `typing.Annotation.__new__` (GH-30821)

bpo-46542: test_lib2to3 uses support.infinite_recursion() (GH-31035)

* bpo-46542: test_lib2to3 uses support.infinite_recursion()

Fix a Python crash in test_lib2to3 when using Python built in debug
mode: limit the recursion limit.

The test_all_project_files() test of test_lib2to3 now uses the
test.support.infinite_recursion() context manager when processing the
infinite_recursion.py file to prevent a crash when Python is built in
debug mode.

The two test_all_project_files() tests now use subTest() and log the
refactored/parsed filename (if test_lib2to3 is run in verbose mode).

* Update Lib/lib2to3/tests/data/infinite_recursion.py

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-46407: Fix long_mod refleak (GH-31025)

fFx refleak in isinstance error path (GH-31005)

Fix a `UnboundLocalError` bug in `test_sysconfig` (GH-31000)

Accidentally introduced by GH-24502

bpo-29688: document and test `pathlib.Path.absolute()` (GH-26153)

Co-authored-by: Brett Cannon <brett@python.org>
Co-authored-by: Brian Helba <brian.helba@kitware.com>

bpo-43112: detect musl as a separate SOABI (GH-24502)

musl libc and gnu libc are not ABI compatible so we need set different
SOABI for musl and not simply assume that all linux is linux-gnu.

Replace linux-gnu with the detected os for the build from config.guess
for linux-musl*.

bpo-26552: Fixed case where failing `asyncio.ensure_future` did not close the coroutine (#30288)

bpo-46458: Add tests for context of exception in finally block (GH-30986)

bpo-46560: Fix a typo in `typing.ParamSpec's` doc string (GH-30995)

bpo-46553: allow bare typing.ClassVar annotations (#30983)

These are used in the wild and covered by dataclasses unit tests.
Several static type checkers support this pattern.

bpo-33125: Enables building traditional installer for Windows ARM64 (GH-30885)

Also makes a few general improvements to the build process and removes some dead code.

bpo-45925: Update Windows installer to SQLite 3.37.2 (GH-30485)

bpo-46072: Add simple stats for Python calls. (GH-30989)

bpo-46417: _PyStructSequence_FiniType() updates _Py_RefTotal (GH-30988)

bpo-46329: Split calls into precall and call instructions. (GH-30855)

* Add PRECALL_FUNCTION opcode.

* Move 'call shape' varaibles into struct.

* Replace CALL_NO_KW and CALL_KW with KW_NAMES and CALL instructions.

* Specialize for builtin methods taking using the METH_FASTCALL | METH_KEYWORDS protocol.

* Allow kwnames for specialized calls to builtin types.

* Specialize calls to tuple(arg) and str(arg).

bpo-46449: deepfreeze get_code() now returns strong ref  (GH-30987)

bpo-42238: [doc] Avoid hardcoding fast-moving lines in susp-ignored.csv. (GH-30981)

bpo-46530: add `"thread_time"` to `test_time.test_get_clock_info` (#30913)

bpo-46407: Optimizing some modulo operations (GH-30653)

Added new internal functions to compute mod without also computing the quotient.

The loops can be leaner then, which leads to modestly but reliably faster execution in contexts that know they don't need the quotient.

Code by Jeremiah Vivian (Pascual).

bpo-46542: test_json uses support.infinite_recursion() (GH-30972)

Fix test_json tests checking for RecursionError: modify these tests
to use support.infinite_recursion().

bpo-40170: Remove PyHeapType_GET_MEMBERS() macro (GH-30942)

Remove the PyHeapType_GET_MEMBERS() macro. It was exposed in the
public C API by mistake, it must only be used by Python internally.
Use the PyTypeObject.tp_members member instead.

Rename PyHeapType_GET_MEMBERS() to _PyHeapType_GET_MEMBERS() and move
it to the internal C API.

bpo-40170: Move _Py_GetAllocatedBlocks() to pycore_pymem.h (GH-30943)

Move _Py_GetAllocatedBlocks() and _PyObject_DebugMallocStats()
declarations to pycore_pymem.h. These functions are related to memory
allocators, not to the PyObject structure.

bpo-46417: signal: move siginfo_type to the module state (GH-30964)

bpo-42982: update pbkdf2 example & add another link (GH-30966)

Automerge-Triggered-By: GH:gpshead

bpo-46476: Simplify and fix _PyStaticCode_Dealloc (GH-30965)

bpo-46541: Generate the global objects initializer. (gh-30941)

This change is a prerequisite for generating code for other global objects (like strings in gh-30928).

(We borrowed some code from Tools/scripts/deepfreeze.py.)

https://bugs.python.org/issue46541

bpo-46098: Add test for multiline syntax error traceback (GH-30695)

bpo-44734: Fix floating point precision in test_turtle (GH-30910)

bpo-46458: emit code for else of a try block immediately after the try body (GH-30751)

bpo-46476: Fix memory leak in code objects generated by deepfreeze (GH-30853)

Add _Py_Deepfreeze_Fini() and _PyStaticCode_Dealloc() functions.

bpo-44791: Fix substitution of ParamSpec in Concatenate with different parameter expressions (GH-27518)

* Substitution with a list of types returns now a tuple of types.
* Substitution with Concatenate returns now a Concatenate with
  concatenated lists of arguments.
* Substitution with Ellipsis is not supported.

bpo-46544: Do not leak `x` and `uspace` in textwrap.TextWrapper (GH-30955)

bpo-23556: [doc] Fix inaccuracy in documentation for raise without args. Improve tests for context in nested except handlers.  (GH-29236)

bpo-40280: Use presence of msvcrt module to detect Windows (GH-30930)

bpo-42982: Improve the text on suggested number of iterations of PBKDF2 (GH-24276)

Less specific number wording (as there is no one right number - the old 100k is too big for some applications and woefully small for others). We now link to NIST SP 800-132 to tell people what to read in there on how to decide for their application.

Co-authored-by: Gregory P. Smith <greg@krypto.org> [Google]

[doc]: Spotted errors while working on rstlint. (GH-30879)

Also ignored some `make suspicious` false positives while assuring
true positives were properly seen by rstlint.

bpo-45162: Revert "Remove many old deprecated unittest features" (GH-30935)

Revert "bpo-45162: Remove many old deprecated unittest features (GH-28268)"

This reverts commit b0a6ede3d0bd6fa4ffe413ab4dfc1059201df25b.

We're deferring this change until 3.12 while upstream projects that use
the legacy assertion method names are fixed.  See the issue for links
to the discussion. Many upstream projects now have issues and PRs
filed.

bpo-46496: news11-10 for bpo45296 (GH-30937)

bpo-45296: Clarify close, quit, and exit in IDLE (GH-30936)

In the File menu, 'Close' and 'Exit' are now 'Close Window' (the current
one) and 'Exit' is now 'Exit IDLE' (by closing all windows).
In Shell, 'quit()' and 'exit()' mean 'close Shell'.
If there are no other windows, this also exits IDLE.

bpo-46539: Pass status of special typeforms to forward references (GH-30926)

Previously this didn't matter because there weren't any valid code paths
that could trigger a type check with a special form, but after the bug
fix for `Annotated` wrapping special forms it's now possible to annotate
something like `Annotated['ClassVar[int]', (3, 4)]`. This change would
also be needed for proposed future changes, such as allowing `ClassVar`
and `Final` to nest each other in dataclasses.

bpo-40170: Remove _Py_GetAllocatedBlocks() function (GH-30940)

Move _Py_GetAllocatedBlocks() and _PyObject_DebugMallocStats()
private functions to the internal C API.

bpo-40170: PyType_SUPPORTS_WEAKREFS() becomes a regular function (GH-30938)

Convert the PyType_SUPPORTS_WEAKREFS() macro to a regular function.
It no longer access the PyTypeObject.tp_weaklistoffset member
directly.

Add _PyType_SUPPORTS_WEAKREFS() static inline functions, used
internally by Python for best performance.

bpo-46502: Remove "How do I tell incomplete input" from FAQ (GH-30925)

Since,

- Py_CompileString no longer allows to distinguish "incomplete input"
  from "invalid input"
- there is no alternative solution available from the Python C API
  due to how the new parser works (rewritten in 3.9)
- the only supported way is to manually import the codeop module from C
  and use its API as IDLE does, and accept its own complications

it is desirable to remove this Q&A from the official FAQ.

make regen-all now suggests running: make autoconf (GH-30893)

"make autoconf" also runs autoheader, whereas "autoconf" does not.

bpo-38472: setup.py uses LC_ALL=C to check the C compiler (GH-30929)

Fix GCC detection in setup.py when cross-compiling. The C compiler is
now run with LC_ALL=C. Previously, the detection failed with a German
locale.

bpo-46528: Simplify the VM's stack manipulations (GH-30902)

bpo-35134: Add Include/cpython/descrobject.h (GH-30923)

Move Include/descrobject.h non-limited API to a new
Include/cpython/descrobject.h header file.

bpo-43853: Expand test suite for SQLite UDF's (GH-27642)

bpo-46527: allow calling enumerate(iterable=...) again (GH-30904)

Use existing unbound_local_error label in DELETE_FAST opcode (GH-30882)

bpo-46529: increase coverage of `typing.Union.__repr__` method (GH-30911)

bpo-43698: do not use `...` as argument name in docs (GH-30502)

bpo-45578: add a test case for `dis.findlabels` (GH-30058)

bpo-46513: Remove AC_C_CHAR_UNSIGNED / __CHAR_UNSIGNED__ (GH-30851)

bpo-41844: Update IDLE part of What's New 3.9 to 20228 (GH-30905)

bpo-48146: Update IDLE part of What's New 3.10 to 2022 (GH-30906)

bpo-46431: use raw string for regex in test (GH-30901)

Add skips to crashing tests under sanitizers instead of manually skipping them (GH-30897)