bpo-45162: Revert "Remove many old deprecated unittest features" (GH-30935)

Revert "bpo-45162: Remove many old deprecated unittest features (GH-28268)"

This reverts commit b0a6ede3d0bd6fa4ffe413ab4dfc1059201df25b.

We're deferring this change until 3.12 while upstream projects that use
the legacy assertion method names are fixed.  See the issue for links
to the discussion. Many upstream projects now have issues and PRs
filed.

bpo-46496: news11-10 for bpo45296 (GH-30937)

bpo-45296: Clarify close, quit, and exit in IDLE (GH-30936)

In the File menu, 'Close' and 'Exit' are now 'Close Window' (the current
one) and 'Exit' is now 'Exit IDLE' (by closing all windows).
In Shell, 'quit()' and 'exit()' mean 'close Shell'.
If there are no other windows, this also exits IDLE.

bpo-46539: Pass status of special typeforms to forward references (GH-30926)

Previously this didn't matter because there weren't any valid code paths
that could trigger a type check with a special form, but after the bug
fix for `Annotated` wrapping special forms it's now possible to annotate
something like `Annotated['ClassVar[int]', (3, 4)]`. This change would
also be needed for proposed future changes, such as allowing `ClassVar`
and `Final` to nest each other in dataclasses.

bpo-40170: Remove _Py_GetAllocatedBlocks() function (GH-30940)

Move _Py_GetAllocatedBlocks() and _PyObject_DebugMallocStats()
private functions to the internal C API.

bpo-40170: PyType_SUPPORTS_WEAKREFS() becomes a regular function (GH-30938)

Convert the PyType_SUPPORTS_WEAKREFS() macro to a regular function.
It no longer access the PyTypeObject.tp_weaklistoffset member
directly.

Add _PyType_SUPPORTS_WEAKREFS() static inline functions, used
internally by Python for best performance.

bpo-46502: Remove "How do I tell incomplete input" from FAQ (GH-30925)

Since,

- Py_CompileString no longer allows to distinguish "incomplete input"
  from "invalid input"
- there is no alternative solution available from the Python C API
  due to how the new parser works (rewritten in 3.9)
- the only supported way is to manually import the codeop module from C
  and use its API as IDLE does, and accept its own complications

it is desirable to remove this Q&A from the official FAQ.

make regen-all now suggests running: make autoconf (GH-30893)

"make autoconf" also runs autoheader, whereas "autoconf" does not.

bpo-38472: setup.py uses LC_ALL=C to check the C compiler (GH-30929)

Fix GCC detection in setup.py when cross-compiling. The C compiler is
now run with LC_ALL=C. Previously, the detection failed with a German
locale.

bpo-46528: Simplify the VM's stack manipulations (GH-30902)

bpo-35134: Add Include/cpython/descrobject.h (GH-30923)

Move Include/descrobject.h non-limited API to a new
Include/cpython/descrobject.h header file.

bpo-43853: Expand test suite for SQLite UDF's (GH-27642)

bpo-46527: allow calling enumerate(iterable=...) again (GH-30904)

Use existing unbound_local_error label in DELETE_FAST opcode (GH-30882)

bpo-46529: increase coverage of `typing.Union.__repr__` method (GH-30911)

bpo-43698: do not use `...` as argument name in docs (GH-30502)

bpo-45578: add a test case for `dis.findlabels` (GH-30058)

bpo-46513: Remove AC_C_CHAR_UNSIGNED / __CHAR_UNSIGNED__ (GH-30851)

bpo-41844: Update IDLE part of What's New 3.9 to 20228 (GH-30905)

bpo-48146: Update IDLE part of What's New 3.10 to 2022 (GH-30906)

bpo-46431: use raw string for regex in test (GH-30901)

Add skips to crashing tests under sanitizers instead of manually skipping them (GH-30897)

bpo-46091: Correctly calculate indentation levels for whitespace lines with continuation characters (GH-30130)

Refactor sanitiser skip tests into test.support (GH-30889)

* Refactor sanitizer skip tests into test.support

* fixup! Refactor sanitizer skip tests into test.support

* fixup! fixup! Refactor sanitizer skip tests into test.support

bpo-45382: test.pythoninfo: set wmic.exe encoding to OEM (GH-30890)

bpo-46510: Add missing test for types.TracebackType/FrameType. Calculate them directly from the caught exception. (GH-30880)

bpo-46510: simplify exception handling code in xmlrpc (GH-30878)

bpo-46510: update Python2-style exception handling in argparse (GH-30881)

Move doctests to the main docs. Eliminate duplication. Improve coverage. (GH-30869)

bpo-46420: Use NOTRACE_DISPATCH() in specialized opcodes (GH-30652)

bpo-46496: Update IDLE News to 2021 Jan 24 (GH-30875)

bpo-40280: Skip subprocess-based tests on wasm32-emscripten (GH-30615)

bpo-46491: Allow Annotated on outside of Final/ClassVar (GH-30864)

We treat Annotated type arg as class-level annotation. This exempts it from checks against Final and ClassVar in order to allow using them in any nesting order.

Automerge-Triggered-By: GH:gvanrossum

bpo-41841: update idlelib News up to 3.10.0. (GH-30868)

bpo-46503: Prevent an assert from firing when parsing some invalid \N sequences in f-strings. (GH-30865)

* bpo-46503: Prevent an assert from firing.  Also fix one nearby tiny PEP-7 nit.

* Added blurb.

bpo-46504: faster code for trial quotient in x_divrem() (GH-30856)

* bpo-46504: faster code for trial quotient in x_divrem()

This brings x_divrem() back into synch with x_divrem1(), which was changed
in bpo-46406 to generate faster code to find machine-word division
quotients and remainders. Modern processors compute both with a single
machine instruction, but convincing C to exploit that requires writing
_less_ "clever" C code.

bpo-46431: Add example of subclassing ExceptionGroup. Document the message and exceptions attributes (GH-30852)

bpo-46431: improve error message on invalid calls to BaseExceptionGroup.__new__ (GH-30854)

fixed flaky test (GH-30845)

bpo-40280: Get help() working and more (GH-30858)

bpo-45711: move whatsnew entries which are incorrectly listed under New Features (GH-30849)

bpo-46470: remove unused branch from `typing._remove_dups_flatten` (GH-30780)

The branch was a remnant of old 3.6 typing.Union implementation.

bpo-41906: Accept built filters in dictConfig (GH-30756)

When configuring the logging stack, accept already built filters (or
just callables) in the filters array of loggers and handlers.
This facilitates passing quick callables as filters.

Automerge-Triggered-By: GH:vsajip

bpo-46422: use `dis.Positions` in `dis.Instruction` (GH-30716)

Co-authored-by: Batuhan Taskaya <isidentical@gmail.com>

bpo-43683: Streamline YIELD_VALUE and SEND (GH-30723)

* Split YIELD_VALUE into ASYNC_GEN_WRAP; YIELD_VALUE for async generators.

* Split SEND into SEND; YIELD_VALUE.

* Document new opcodes.

fix typo in typing.rst (#30841)

bpo-46486: Fixed misspelled name DesciptorClassification

Improve grouper() recipe to demonstrate all forms of zip() (GH-30837)

bpo-41403: Improve error message for invalid mock target (GH-30833)

bpo-46471: Use single byte singletons (GH-30781)

bpo-46103: Fix inspect.getmembers to only get __bases__ from class (GH-30147)

bpo-46481: Implement vectorcall for weakref.ref.__call__ method. (GH-30820)

bpo-46483: change `PurePath.__class_getitem__` to return `GenericAlias` (GH-30822)

bpo-46406: Faster single digit int division. (#30626)

* bpo-46406: Faster single digit int division.

This expresses the algorithm in a more basic manner resulting in better
instruction generation by todays compilers.

See https://mail.python.org/archives/list/python-dev@python.org/thread/ZICIMX5VFCX4IOFH5NUPVHCUJCQ4Q7QM/#NEUNFZU3TQU4CPTYZNF3WCN7DOJBBTK5

bpo-29882: Fix portability bug introduced in GH-30774 (#30794)

bpo-46474: Avoid REDoS in EntryPoint.pattern (sync with importlib_metadata 4.10.1) (GH-30803)

bpo-45382: test.pythoninfo logs more Windows versions (GH-30817)

Add the following info to test.pythoninfo:

* windows.ver: output of the shell "ver" command
* windows.version and windows.version_caption: output of the
  "wmic os get Caption,Version /value" command.

This localization technique is no longer cost effective. (GH-30818)

bpo-46474: Apply changes from importlib_metadata 4.10.0 (GH-30802)

bpo-46425: Partially revert "bpo-46425: fix direct invocation of `test_importlib` (GH-30682)" (GH-30799)

This reverts commit 57316c52bae5d6420f5067f3891ec328deb97305 for files pertaining to importlib.metadata and importlib.resources.

bpo-46477: [Enum] ensure Flag subclasses have correct bitwise methods (GH-30816)

bpo-46417: _PyList_Fini() clears indexerr (GH-30815)

_PyList_Fini() now clears the 'indexerr' error message.

Minor code rearrangement to group related methods together. (GH-30813)

* Make example more focused with math.prod()
* Move comparison tests to the multiset operations section

bpo-46417: Fix _PyStaticType_Dealloc() (GH-30810)

_PyStaticType_Dealloc() now only calls PyObject_ClearWeakRefs()
if the call is not going to fail.

bpo-46417: Clear symtable identifiers at exit (GH-30809)

Add _PySymtable_Fini() function, called by finalize_interp_clear().

Update test_cmd_line.test_showrefcount() to tolerate negative
reference count.

bpo-41682: Skip unstable test_asyncio sendfile test on Windows (GH-30801)

bpo-46417: Clear _io module static objects at exit (GH-30807)

Add _PyIO_Fini() function, called by finalize_interp_clear(). It
clears static objects used by the _io extension module.

bpo-46417: Clear Unicode static types at exit (GH-30806)

Add _PyUnicode_FiniTypes() function, called by
finalize_interp_types(). It clears these static types:

* EncodingMapType
* PyFieldNameIter_Type
* PyFormatterIter_Type

_PyStaticType_Dealloc() now does nothing if tp_subclasses
is not NULL.

bpo-46417: Py_Finalize() clears static exceptioins (GH-30805)

The Py_Finalize() function now clears exceptions implemented as
static types.

Add _PyExc_FiniTypes() function, called by _PyExc_Fini().

bpo-46417: Factorize _PyExc_InitTypes() code (GH-30804)

Add 'static_exceptions' list to factorize code between
_PyExc_InitTypes() and _PyBuiltins_AddExceptions().

_PyExc_InitTypes() does nothing if it's not the main interpreter.

Sort exceptions in Lib/test/exception_hierarchy.txt.

bpo-46126: Disable 'descriptions' when running tests internally. (GH-30194)

bpo-46417: _PyTypes_FiniTypes() clears object and type (GH-30798)

bpo-45200: GHA Address Sanitizer skips 3 slowest tests (GH-30797)

Skip the 3 slowest tests of the Address Sanitizer CI of GitHub
Actions:

* test_tools
* test_peg_generator
* test_concurrent_futures

These tests take between 5 and 20 minutes on this CI which makes this
CI job the slowest. Making this CI job faster makes the whole Python
workflow faster. These tests are run on all others CIs.

Example of Address Sanitizer output:

    10 slowest tests:
    - test_peg_generator: 17 min 33 sec
    - test_tools: 8 min 27 sec
    - test_concurrent_futures: 5 min 24 sec
    - test_zipfile: 2 min 41 sec
    - test_compileall: 2 min 21 sec
    - test_asyncio: 2 min 17 sec
    - test_gdb: 1 min 43 sec
    - test_weakref: 1 min 35 sec
    - test_pickle: 1 min 18 sec
    - test_subprocess: 1 min 12 sec

Moreover, test_concurrent_futures also seems to be affected by
bpo-45200 bug: libasan dead lock in pthread_create().

bpo-46417: Cleanup typeobject.c code (GH-30795)

* Add comment to recurse_down_subclasses() explaining why it's safe
  to use a borrowed reference to tp_subclasses.
* remove_all_subclasses() no longer accept NULL cases
* type_set_bases() now relies on the fact that new_bases is not NULL.
* type_dealloc_common() avoids PyErr_Fetch/PyErr_Restore if tp_bases
  is NULL.
* remove_all_subclasses() makes sure that no exception is raised.
* Don't test at runtime if tp_mro only contains types: rely on
  _PyType_CAST() assertion for that.
* _PyStaticType_Dealloc() no longer clears tp_subclasses which is
  already NULL.
* mro_hierarchy() avoids calling _PyType_GetSubclasses() if
  tp_subclasses is NULL.

Coding style:

* Use Py_NewRef().
* Add braces and move variable declarations to the first variable
  assignement.
* Rename a few variables and parameters to use better names.

bpo-46417: Clear more static types (GH-30796)

* Move PyContext static types into object.c static_types list.
* Rename PyContextTokenMissing_Type to _PyContextTokenMissing_Type
  and declare it in pycore_context.h.
* _PyHamtItems types are no long exported: replace PyAPI_DATA() with
  extern.

bpo-46425: fix direct invocation of `test_fileutils` and `test_zoneinfo` (GH-30792)

bpo-46425: fix direct invocation of `test_importlib` (GH-30682)

bpo-46425: use absolute imports in `test_sqlite3` (GH-30676)

bpo-46425: fix direct invocation of `test_traceback` (GH-30746)

bpo-46417: remove_subclass() clears tp_subclasses (GH-30793)

The remove_subclass() function now deletes the dictionary when
removing the last subclass (if the dictionary becomes empty) to save
memory: set PyTypeObject.tp_subclasses to NULL. remove_subclass() is
called when a type is deallocated.

_PyType_GetSubclasses() no longer holds a reference to tp_subclasses:
its loop cannot modify tp_subclasses.

bpo-46417: Fix race condition on setting type __bases__ (GH-30788)

Fix a race condition on setting a type __bases__ attribute: the
internal function add_subclass() now gets the
PyTypeObject.tp_subclasses member after calling PyWeakref_NewRef()
which can trigger a garbage collection which can indirectly modify
PyTypeObject.tp_subclasses.

bpo-46468: document that "-m http.server" defaults to port 8000 (GH-30776)

Code link:
https://github.com/python/cpython/blob/70c16468deee9390e34322d32fda57df6e0f46bb/Lib/http/server.py#L1270

It's been this way since at least 3.4.

Also improved some wording in the same section.

bpo-46469: Make asyncio generic classes return GenericAlias (GH-30777)

* bpo-46469: Make asyncio generic classes return GenericAlias

* 📜🤖 Added by blurb_it.

* Update Misc/NEWS.d/next/Library/2022-01-22-05-05-08.bpo-46469.plUab5.rst

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

fix DeprecationWarning when running asyncio tests (GH-30486)

bpo-46460: remove duplicated `versionchanged` from `dis.rst` (GH-30752)

bpo-46425: fix direct invocation of `asyncio` tests (#30725)

bpo-46249: Move set lastrowid out of the sqlite3 query loop (GH-30489)

bpo-46442: improve and rename testExceptionCleanupNames (GH-30758)

The test tested that explicitly deleting the local variable bound to the exception
did not cause problems, but it did not test what it actually claimed to test, i.e.
that the variable is deleted automatically.

Improve the Windows release build scripts (GH-30771)

Update to windows-2022 image
Promote queue variables to parameters for better UI
Structure build steps using parameters instead of conditions for simpler status display

bpo-29882: _Py_popcount32() doesn't need 64x64 multiply (GH-30774)

32x32 bits multiply is enough for _Py_popcount32().

bpo-46417: Use _PyType_CAST() in Objects directory (GH-30764)

bpo-46417: Use _PyType_CAST() in Python directory (GH-30769)

bpo-46417: Add _PyType_GetSubclasses() function (GH-30761)

Add a new _PyType_GetSubclasses() function to get type's subclasses.

_PyType_GetSubclasses(type) returns a list which holds strong
refererences to subclasses. It is safer than iterating on
type->tp_subclasses which yields weak references and can be modified
in the loop.

_PyType_GetSubclasses(type) now holds a reference to the tp_subclasses
dict while creating the list of subclasses.

set_collection_flag_recursive() of _abc.c now uses
_PyType_GetSubclasses().

bpo-46463: Fixes escape4chm.py script used when building the CHM documentation file (GH-30768)

bpo-46445: Cover multiple inheritance of `TypedDict` in `test_typing` (GH-30719)

bpo-43118: Fix bug in inspect.signature around 'base.__text_signature__' (GH-30285)

bpo-46124: Update zoneinfo to rely on importlib.resources traversable API. (GH-30190)

Automerge-Triggered-By: GH:jaraco

Update generated files list and add `diff=generated` attribute (GH-30745)

As a side effect, the list of generated files is relocated after the language aware diff settings.

Closes python/core-workflow#425

Automerge-Triggered-By: GH:zware

bpo-46417: Add _PyType_CAST() macro (GH-30760)

In debug mode, the macro makes sure that its argument is a type using
an assertion.

bpo-46434: Handle missing docstrings in pdb help (GH-30705)