bpo-42323: Fix math.nextafter() on AIX (GH-24381)

math_nextafter_impl() must return a Python object, not a C double.

bpo-41282: Add deprecation warning and docs for distutils (PEP 632) (GH-24355)

Fixing typos in turtle.rst (GH-24376)

Automerge-Triggered-By: GH:JulienPalard

bpo-43008: Add 'Patch by Ken Hilton' (GH-24370)

Fixed typo in turtle.rst (GH-24371)

Found it while translating it to french 🤷

Automerge-Triggered-By: GH:JulienPalard

bpo-42979: Use _Py_CheckSlotResult() to check slots result (GH-24356)

When Python is built in debug mode (with C assertions), calling a
type slot like sq_length (__len__() in Python) now fails with a fatal
error if the slot succeeded with an exception set, or failed with no
exception set. The error message contains the slot, the type name,
and the current exception (if an exception is set).

* Check the result of all slots using _Py_CheckSlotResult().
* No longer pass op_name to ternary_op() in release mode.
* Replace operator with dunder Python method name in error messages.
  For example, replace "*" with "__mul__".
* Fix compiler_exit_scope() when an exception is set.
* Fix bytearray.extend() when an exception is set: don't call
  bytearray_setslice() with an exception set.

bpo-42990: Introduce 'frame constructor' struct to simplify API for PyEval_CodeEval and friends (GH-24298)

* Introduce 'frame constructor' to simplify API for frame creation

* Embed struct using a macro to conform to PEP 7

bpo-23544: Disable IDLE Stack Viewer when running user code (GH-17163)

Starting stack viewer when user code is running, including when Debugger is active, hangs or crashes IDLE.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-42955: Remove sub-packages from sys.stdlib_module_names (GH-24353)

bpo-42979: Enhance abstract.c assertions checking slot result (GH-24352)

* bpo-42979: Enhance abstract.c assertions checking slot result

Add _Py_CheckSlotResult() function which fails with a fatal error if
a slot function succeeded with an exception set or failed with no
exception set: write the slot name, the type name and the current
exception (if an exception is set).

bpo-42979: _zoneinfo exec function checks for PyDateTime_IMPORT failure (GH-24333)

Importing datetime can fail.

bpo-43031: Set a timeout when running tests in PGO build (GH-24339)

Pass --timeout=$(TESTTIMEOUT) option to the default profile task
"./python -m test --pgo" command.

bpo-43033: Fix the handling of PyObject_SetAttrString() in _zoneinfo.c (GH-24345)

bpo-43008: Make IDLE respect sys.excepthook (GH-24302)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-38250: [Enum] only include .rst test if file available (GH-24342)

* [Enum] only include .rst test if file available

In order to ensure the ReST documentation is up to date for Enum,
use doctest to check it -- but only if the .rst files have not
been stripped.

bpo-33387: update documentation for exception handling opcode changes (GH-24334)

* bpo-33387: remove obsolete comment

* bpo-33387: update SETUP_WITH opcode documentation

Fix minor typo in the rest format in the enum docs (GH-24335)

Document new parenthesized with statements (GH-24281)

Typo in comment (GH-24199)

Automerge-Triggered-By: GH:Mariatta

bpo-38250: [Enum] single-bit flags are canonical (GH-24215)

Flag members are now divided by one-bit verses multi-bit, with multi-bit being treated as aliases. Iterating over a flag only returns the contained single-bit flags.

Iterating, repr(), and str() show members in definition order.

When constructing combined-member flags, any extra integer values are either discarded (CONFORM), turned into ints (EJECT) or treated as errors (STRICT). Flag classes can specify which of those three behaviors is desired:

>>> class Test(Flag, boundary=CONFORM):
...     ONE = 1
...     TWO = 2
...
>>> Test(5)
<Test.ONE: 1>

Besides the three above behaviors, there is also KEEP, which should not be used unless necessary -- for example, _convert_ specifies KEEP as there are flag sets in the stdlib that are incomplete and/or inconsistent (e.g. ssl.Options). KEEP will, as the name suggests, keep all bits; however, iterating over a flag with extra bits will only return the canonical flags contained, not the extra bits.

Iteration is now in member definition order.  If member definition order
matches increasing value order, then a more efficient method of flag
decomposition is used; otherwise, sort() is called on the results of
that method to get definition order.

``re`` module:

repr() has been modified to support as closely as possible its previous
output; the big difference is that inverted flags cannot be output as
before because the inversion operation now always returns the comparable
positive result; i.e.

   re.A|re.I|re.M|re.S is ~(re.L|re.U|re.S|re.T|re.DEBUG)

in both of the above terms, the ``value`` is 282.

re's tests have been updated to reflect the modifications to repr().

bpo-42955: Rename module_names to sys.stdlib_module_names (GH-24332)

* Rename _Py_module_names to _Py_stdlib_module_names.
* Rename Python/module_names.h to Python/stdlib_module_names.h.

bpo-42383: pdb: do not fail to restart the target if the current directory changed (#23412)

This commit only adds tests and a news entry. The actual bug was fixed in the earlier commit.

bpo-37319: Improve documentation, code and tests of randrange. (GH-19112)

bpo-42869: Avoid an HTTP redirection. (GH-24174)

bpo-42843: Keep Sphinx 1.8 and Sphinx 2 compatibility (GH-24282)

bpo-42955: Fix sys.module_names doc (GH-24329)

Replace versionchanged markup with versionadded.

bpo-42955: Add sys.modules_names (GH-24238)

Add sys.module_names, containing the list of the standard library
module names.

bpo-43013: Fix old tkinter module names in idlelib (GH-24326)

Lowercase 'tkColorChooser', 'tkFileDialog', 'tkSimpleDialog', and
'tkMessageBox' and remove 'tk'.  Just lowercase 'tkFont' as 'font'
is already used.  Adjust import.

bpo-27772: Make preceding width with 0 valid in string format. (GH-11270)

Previously it was an error with confusing error message.

 bpo-43013: Update idlelib code to 3.x  (GH-24315)

Remove 9 remaining '(object)' occurrences in class headers in idlelib
and 25 '()' occurrences in idlelib.idle_test class headers.

bpo-43014: Improve performance of tokenize.tokenize by 20-30%

Remove full stop from a bytes-related SyntaxError message (GH-24300)

closes bpo-43011: Fix DeprecationWarnings in test_ctypes (GH-24305)

bpo-42996: Update a reference to PKCS #5 in hashlib docs to version 2.1 (GH-24289)

RFC 8018 superseded RFC 8018.

Automerge-Triggered-By: GH:tiran

bpo-41798: Allocate the _curses._C_API on the heap memory (GH-24186)

bpo-40304: Correct type(name, bases, dict) doc (GH-19553)

Co-authored-by: Éric Araujo <merwok@netwok.org>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Tal Einat <532281+taleinat@users.noreply.github.com>

bpo-42384: pdb: correctly populate sys.path[0] (GH-23338)

Automerge-Triggered-By: GH:gvanrossum

bpo-31904: setup.py: fix cross-compilation on VxWorks (GH-24191)

Add library search path by wr-cc in add_cross_compiling_paths().

bpo-33289: Return RGB triplet of ints instead of floats from tkinter.colorchooser (GH-6578)

Add a What's New entry for the new parser error improvements (GH-24280)

Fix typo in what's new. bidst_wheel -> bdist_wheel (GH-24234)

bidst_wheel -> bdist_wheel

Automerge-Triggered-By: GH:Mariatta

bpo-42392: Mention loop removal in whatsnew for 3.10 (GH-24256)

@vstinner [noticed on python-dev](https://mail.python.org/archives/list/python-dev@python.org/thread/O3T7SK3BGMFWMLCQXDODZJSBL42AUWTR/) that there is no what's new or porting entry for removal of asyncio ``loop`` parameter.

This patch adds a basic guide.

Co-Authored-By: Kyle Stanley <aeros167@gmail.com>

bpo-40176: Improve error messages for unclosed string literals (GH-19346)

Automerge-Triggered-By: GH:isidentical

bpo-42864: Simplify the tokenizer exceptions after generic SyntaxError (GH-24273)

Automerge-Triggered-By: GH:pablogsal

bpo-42856: Add --with-wheel-pkg-dir=PATH configure option (GH-24210)

Add --with-wheel-pkg-dir=PATH option to the ./configure script. If
specified, the ensurepip module looks for setuptools and pip wheel
packages in this directory: if both are present, these wheel packages
are used instead of ensurepip bundled wheel packages.

Some Linux distribution packaging policies recommend against bundling
dependencies. For example, Fedora installs wheel packages in the
/usr/share/python-wheels/ directory and don't install the
ensurepip._bundled package.

ensurepip: Remove unused runpy import.

bpo-42323: Fix math.nextafter() for NaN on AIX (GH-24265)

bpo-42780: Fix set_inheritable() for O_PATH file descriptors on Linux (GH-24172)

Fix typos in unittest documentation (GH-24194)

* addCleanupClass  -> addClassCleanup
* doCleanupsClass -> doClassCleanups

bpo-42864: Fix compiler warning in the tokenizer with the new paren stack for column numbers (GH-24266)

bpo-42048: Clinic Howto: Document AC's defining_class converter (GH-23978)

bpo-41798: Allocate unicodedata CAPI on the heap (GH-24128)

Doc: os.path.abspath and Path.resolve are also different (GH-23276)

bpo-42005: profile and cProfile catch BrokenPipeError (GH-22643)

bpo-41995: Handle allocation failure in _tracemalloc and _zoneinfo (GH-22635)

bpo-42864: Improve error messages regarding unclosed parentheses (GH-24161)

bpo-42923: _Py_DumpExtensionModules() ignores stdlib ext (GH-24254)

bpo-42955: Add Python/module_names.h (GH-24258)

Add a private list of all stdlib modules: _Py_module_names.

* Add Tools/scripts/generate_module_names.py script.
* Makefile: Add "make regen-module-names" command.
* setup.py: Add --list-module-names option.
* GitHub Action and Travis CI also runs "make regen-module-names",
  not ony "make regen-all", to ensure that the module names remains
  up to date.

bpo-41713: Remove PyOS_InitInterrupts() from python3dll.c (GH-24257)

Add a clarification for the object-domain allocators regarding pointer validity (GH-24253)

bpo-41818: Close file descriptors in test_openpty (#GH-24119)

When stdin is a TTY, the test added in commit c13d89955d9a2942c6355d6839d7096323244136
is expected to fail. However, when it failed, it did not close
its file descriptors. This is flagged by the refleak tests (but
only when stdin is a TTY, which doesn't seem to be the case on CI).

Add a paragraph about allocation domains to the C-API docs (GH-24252)

closes bpo-42938: Replace snprintf with Python unicode formatting in ctypes param reprs. (24239)

bpo-36143: make regen-all now also runs regen-keyword (GH-24245)

bpo-42923: Dump extension modules on fatal error (GH-24207)

The Py_FatalError() function and the faulthandler module now dump the
list of extension modules on a fatal error.

Add _Py_DumpExtensionModules() and _PyModule_IsExtension() internal
functions.

bpo-42944 Fix Random.sample when counts is not None (GH-24235)

bpo-42923: Py_FatalError() avoids fprintf() (GH-24242)

* Replace buffered fprintf() with unbuffered _Py_write_noraise()
  in Py_FatalError().
* _Py_DumpHexadecimal() now accepts uintptr_t.

bpo-42923: Add Py_FatalError() test in test_capi (GH-24240)

Move faulthandler._fatal_error() to _testcapi.fatal_error().

bpo-42931: randbytes missing from random.__all__ (GH-24219)

bpo-42934: use TracebackException(compact=True) in unittest.TestResult (GH-24221)

Mark instructions at end of class scope as artificial. (GH-24222)

bpo-42877: add the 'compact' param to TracebackException's __init__ (#24179)

Use it to reduce the time and memory taken up by several of traceback's module-level functions.

bpo-42827: Fix crash on SyntaxError in multiline expressions (GH-24140)

When trying to extract the error line for the error message there
are two distinct cases:

1. The input comes from a file, which means that we can extract the
   error line by using `PyErr_ProgramTextObject` and which we already
   do.
2. The input does not come from a file, at which point we need to get
   the source code from the tokenizer:
   * If the tokenizer's current line number is the same with the line
     of the error, we get the line from `tok->buf` and we're ready.
   * Else, we can extract the error line from the source code in the
     following two ways:
     * If the input comes from a string we have all the input
       in `tok->str` and we can extract the error line from it.
     * If the input comes from stdin, i.e. the interactive prompt, we
       do not have access to the previous line. That's why a new
       field `tok->stdin_content` is added which holds the whole input for the
       current (multiline) statement or expression. We can then extract the
       error line from `tok->stdin_content` like we do in the string case above.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

Docs: Remove stray semicolon in init.rst (GH-23974)

Removed stray semicolon which was causing the docs to render weirdly (it's the function right under the one [here](https://docs.python.org/3/c-api/init.html#c._PyInterpreterState_GetEvalFrameFunc)).

bpo-39273: Expose BUTTON5_* constants in the curses module if available (GH-17996)

bpo-40956: Fix sqlite3.Cursor.fetchmany() default value (GH-24214)

bpo-42924: Fix incorrect copy in bytearray_repeat (GH-24208)

Before, using the * operator to repeat a bytearray would copy data from the start of
the internal buffer (ob_bytes) and not from the start of the actual data (ob_start).

Eliminate NOPs in extended blocks. (GH-24209)

bpo-42908: Mark cleanup code at end of try-except and with artificial (#24202)

* Mark bytecodes at end of try-except as artificial.

* Make sure that the CFG is consistent throughout optimiization.

* Extend line-number propagation logic so that implicit returns after 'try-except' or 'with' have the correct line numbers.

* Update importlib

bpo-1635741: Fix PyModule_AddObjectRef to use EXPORT_FUNC (GH-24205)

bpo-42901: [Enum] move member creation to `__set_name__` (GH-24196)

`type.__new__` calls `__set_name__` and `__init_subclass__`, which means
that any work metaclasses do after calling `super().__new__()` will not
be available to those two methods.  In particular, `Enum` classes that
want to make use of `__init_subclass__` will not see any members.

Almost all customization is therefore moved to before the
`type.__new__()` call, including changing all members to a proto member
descriptor with a `__set_name__` that will do the final conversion of a
member to be an instance of the `Enum` class.

bpo-37324: Remove ABC aliases from collections (GH-23754)

Remove deprecated aliases to Abstract Base Classes from the
collections module.

bpo-42848: remove recursion from TracebackException (GH-24158)

bpo-42874: Remove grep -qE options for Solaris 10 compatibility (GH-24200)

According to [bpo-42874](), some versions of grep do not support the `-q` and `-E` options. Although both options are used elsewhere in the configure script, this particular bit of validation can be achieved without them,
so there's no real harm in using a grep call with no flags.

Would be good to get some people taking advantage of the `--with-tzpath` arguments in the wild to try this out.. Local testing seems to indicate that this does the same thing, but I don't know that we have any buildbots using this option. Maybe @pablogsal?

[bpo-42874]():

bpo-41994: Fix refcount issues in Python/import.c (GH-22632)

https://bugs.python.org/issue41994

bpo-42882: Add test_embed.test_unicode_id_init() (GH-24198)

Test that _PyUnicode_FromId() works when Python is initialized
multiples times.

bpo-42882: _PyRuntimeState_Init() leaves unicode next_index unchanged (GH-24193)

Fix the _PyUnicode_FromId() function (_Py_IDENTIFIER(var) API) when
Py_Initialize() / Py_Finalize() is called multiple times:
preserve _PyRuntime.unicode_ids.next_index value.

Use _PyRuntimeState_INIT macro instead memset(0) to reset
_PyRuntimeState members to zero.

bpo-42870: Document change in argparse help output. (GH-24190)

Fix various ParamSpec errors in typing (GH-24176)

1. ParamSpec -> TypeVar for ``typing.Concatenate``
2. ParamSpec's call signature should align with its documentation.
Noticed in GH-24169

bpo-33065: Fix problem debugging user classes with __repr__ method (GH-24183)

If __repr__ uses instance attributes, as normal, and one steps
through the __init__ method, debugger may try to get repr before
the instance attributes exist.  reprlib.repr handles the error.

bpo-24464: Fix sqlite3.enable_shared_cache() deprecation wrapper (GH-24170)

bpo-42802: Remove distutils bdist_wininst command (GH-24043)

The distutils bdist_wininst command deprecated in Python 3.8 has been
removed. The distutils bidst_wheel command is now recommended to
distribute binary packages on Windows.

* Remove Lib/distutils/command/bdist_wininst.py
* Remove PC/bdist_wininst/ project
* Remove Lib/distutils/command/wininst-*.exe programs
* Remove all references to bdist_wininst

Fix a typo in docs for typing.Concatenate (#24169)

Return param spec should be R, not T

bpo-42866: Add traverse func to _multibytecodec.MultibyteCodec (GH-24166)

Convert _multibytecodec.MultibyteCodec type to a GC type and adds a
traverse function.

bpo-42866: Fix refleak in CJK getcodec() (GH-24165)

Fix a reference leak in the getcodec() function of CJK codecs.

bpo-42846: Convert CJK codec extensions to multiphase init (GH-24157)

Convert the 6 CJK codec extension modules (_codecs_cn, _codecs_hk,
_codecs_iso2022, _codecs_jp, _codecs_kr and _codecs_tw) to the
multiphase initialization API (PEP 489).

Remove getmultibytecodec() local cache: always import
_multibytecodec. It should be uncommon to get a codec. For example,
this function is only called once per CJK codec module.

Fix a reference leak in register_maps() error path.

bpo-42860: Remove type error from grammar (GH-24156)

This is only there so that alternative implementations written in statically-typed languages can use this grammar without
having type errors in the way.

Automerge-Triggered-By: GH:lysnikolaou

bpo-42851: [Enum] remove brittle __init_subclass__ support (GH-24154)

Solution to support calls to `__init_subclass__` with members defined is too brittle and breaks with certain mixins.

Update frame.f_lineno before any call to the (C) tracing function.  (GH-24150)

* Minimizes breakage of C extensions and ensures PyFrame_GetLineNumber is efficient.

bpo-42783: Documentation for asyncio.sleep(0) (#24002)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-42847: Normalise Lib/sqlite3/test/* file encodings (GH-24147)

Convert from ISO-8859-1 to UTF-8.