bpo-41818: Close file descriptors in test_openpty (#GH-24119)

When stdin is a TTY, the test added in commit c13d89955d9a2942c6355d6839d7096323244136
is expected to fail. However, when it failed, it did not close
its file descriptors. This is flagged by the refleak tests (but
only when stdin is a TTY, which doesn't seem to be the case on CI).

Add a paragraph about allocation domains to the C-API docs (GH-24252)

closes bpo-42938: Replace snprintf with Python unicode formatting in ctypes param reprs. (24239)

bpo-36143: make regen-all now also runs regen-keyword (GH-24245)

bpo-42923: Dump extension modules on fatal error (GH-24207)

The Py_FatalError() function and the faulthandler module now dump the
list of extension modules on a fatal error.

Add _Py_DumpExtensionModules() and _PyModule_IsExtension() internal
functions.

bpo-42944 Fix Random.sample when counts is not None (GH-24235)

bpo-42923: Py_FatalError() avoids fprintf() (GH-24242)

* Replace buffered fprintf() with unbuffered _Py_write_noraise()
  in Py_FatalError().
* _Py_DumpHexadecimal() now accepts uintptr_t.

bpo-42923: Add Py_FatalError() test in test_capi (GH-24240)

Move faulthandler._fatal_error() to _testcapi.fatal_error().

bpo-42931: randbytes missing from random.__all__ (GH-24219)

bpo-42934: use TracebackException(compact=True) in unittest.TestResult (GH-24221)

Mark instructions at end of class scope as artificial. (GH-24222)

bpo-42877: add the 'compact' param to TracebackException's __init__ (#24179)

Use it to reduce the time and memory taken up by several of traceback's module-level functions.

bpo-42827: Fix crash on SyntaxError in multiline expressions (GH-24140)

When trying to extract the error line for the error message there
are two distinct cases:

1. The input comes from a file, which means that we can extract the
   error line by using `PyErr_ProgramTextObject` and which we already
   do.
2. The input does not come from a file, at which point we need to get
   the source code from the tokenizer:
   * If the tokenizer's current line number is the same with the line
     of the error, we get the line from `tok->buf` and we're ready.
   * Else, we can extract the error line from the source code in the
     following two ways:
     * If the input comes from a string we have all the input
       in `tok->str` and we can extract the error line from it.
     * If the input comes from stdin, i.e. the interactive prompt, we
       do not have access to the previous line. That's why a new
       field `tok->stdin_content` is added which holds the whole input for the
       current (multiline) statement or expression. We can then extract the
       error line from `tok->stdin_content` like we do in the string case above.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

Docs: Remove stray semicolon in init.rst (GH-23974)

Removed stray semicolon which was causing the docs to render weirdly (it's the function right under the one [here](https://docs.python.org/3/c-api/init.html#c._PyInterpreterState_GetEvalFrameFunc)).

bpo-39273: Expose BUTTON5_* constants in the curses module if available (GH-17996)

bpo-40956: Fix sqlite3.Cursor.fetchmany() default value (GH-24214)

bpo-42924: Fix incorrect copy in bytearray_repeat (GH-24208)

Before, using the * operator to repeat a bytearray would copy data from the start of
the internal buffer (ob_bytes) and not from the start of the actual data (ob_start).

Eliminate NOPs in extended blocks. (GH-24209)

bpo-42908: Mark cleanup code at end of try-except and with artificial (#24202)

* Mark bytecodes at end of try-except as artificial.

* Make sure that the CFG is consistent throughout optimiization.

* Extend line-number propagation logic so that implicit returns after 'try-except' or 'with' have the correct line numbers.

* Update importlib

bpo-1635741: Fix PyModule_AddObjectRef to use EXPORT_FUNC (GH-24205)

bpo-42901: [Enum] move member creation to `__set_name__` (GH-24196)

`type.__new__` calls `__set_name__` and `__init_subclass__`, which means
that any work metaclasses do after calling `super().__new__()` will not
be available to those two methods.  In particular, `Enum` classes that
want to make use of `__init_subclass__` will not see any members.

Almost all customization is therefore moved to before the
`type.__new__()` call, including changing all members to a proto member
descriptor with a `__set_name__` that will do the final conversion of a
member to be an instance of the `Enum` class.

bpo-37324: Remove ABC aliases from collections (GH-23754)

Remove deprecated aliases to Abstract Base Classes from the
collections module.

bpo-42848: remove recursion from TracebackException (GH-24158)

bpo-42874: Remove grep -qE options for Solaris 10 compatibility (GH-24200)

According to [bpo-42874](), some versions of grep do not support the `-q` and `-E` options. Although both options are used elsewhere in the configure script, this particular bit of validation can be achieved without them,
so there's no real harm in using a grep call with no flags.

Would be good to get some people taking advantage of the `--with-tzpath` arguments in the wild to try this out.. Local testing seems to indicate that this does the same thing, but I don't know that we have any buildbots using this option. Maybe @pablogsal?

[bpo-42874]():

bpo-41994: Fix refcount issues in Python/import.c (GH-22632)

https://bugs.python.org/issue41994

bpo-42882: Add test_embed.test_unicode_id_init() (GH-24198)

Test that _PyUnicode_FromId() works when Python is initialized
multiples times.

bpo-42882: _PyRuntimeState_Init() leaves unicode next_index unchanged (GH-24193)

Fix the _PyUnicode_FromId() function (_Py_IDENTIFIER(var) API) when
Py_Initialize() / Py_Finalize() is called multiple times:
preserve _PyRuntime.unicode_ids.next_index value.

Use _PyRuntimeState_INIT macro instead memset(0) to reset
_PyRuntimeState members to zero.

bpo-42870: Document change in argparse help output. (GH-24190)

Fix various ParamSpec errors in typing (GH-24176)

1. ParamSpec -> TypeVar for ``typing.Concatenate``
2. ParamSpec's call signature should align with its documentation.
Noticed in GH-24169

bpo-33065: Fix problem debugging user classes with __repr__ method (GH-24183)

If __repr__ uses instance attributes, as normal, and one steps
through the __init__ method, debugger may try to get repr before
the instance attributes exist.  reprlib.repr handles the error.

bpo-24464: Fix sqlite3.enable_shared_cache() deprecation wrapper (GH-24170)

bpo-42802: Remove distutils bdist_wininst command (GH-24043)

The distutils bdist_wininst command deprecated in Python 3.8 has been
removed. The distutils bidst_wheel command is now recommended to
distribute binary packages on Windows.

* Remove Lib/distutils/command/bdist_wininst.py
* Remove PC/bdist_wininst/ project
* Remove Lib/distutils/command/wininst-*.exe programs
* Remove all references to bdist_wininst

Fix a typo in docs for typing.Concatenate (#24169)

Return param spec should be R, not T

bpo-42866: Add traverse func to _multibytecodec.MultibyteCodec (GH-24166)

Convert _multibytecodec.MultibyteCodec type to a GC type and adds a
traverse function.

bpo-42866: Fix refleak in CJK getcodec() (GH-24165)

Fix a reference leak in the getcodec() function of CJK codecs.

bpo-42846: Convert CJK codec extensions to multiphase init (GH-24157)

Convert the 6 CJK codec extension modules (_codecs_cn, _codecs_hk,
_codecs_iso2022, _codecs_jp, _codecs_kr and _codecs_tw) to the
multiphase initialization API (PEP 489).

Remove getmultibytecodec() local cache: always import
_multibytecodec. It should be uncommon to get a codec. For example,
this function is only called once per CJK codec module.

Fix a reference leak in register_maps() error path.

bpo-42860: Remove type error from grammar (GH-24156)

This is only there so that alternative implementations written in statically-typed languages can use this grammar without
having type errors in the way.

Automerge-Triggered-By: GH:lysnikolaou

bpo-42851: [Enum] remove brittle __init_subclass__ support (GH-24154)

Solution to support calls to `__init_subclass__` with members defined is too brittle and breaks with certain mixins.

Update frame.f_lineno before any call to the (C) tracing function.  (GH-24150)

* Minimizes breakage of C extensions and ensures PyFrame_GetLineNumber is efficient.

bpo-42783: Documentation for asyncio.sleep(0) (#24002)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-42847: Normalise Lib/sqlite3/test/* file encodings (GH-24147)

Convert from ISO-8859-1 to UTF-8.

bpo-40823: Use loadTestsFromTestCase() iso. makeSuite() in sqlite3 tests (GH-20538)

bpo-41798: Allocate the _datetime.datetime_CAPI on the heap memory (GH-24096)

bpo-41798: Allocate _socket module C API on the heap (GH-24126)

bpo-42811: Update importlib.utils.resolve_name() docs to use __spec__.parent (GH-24100)

Automerge-Triggered-By: GH:brettcannon

bpo-41798: Allocate _decimal extension module C API on the heap (GH-24117)

bpo-42528: Improve the docs of most Py*_Check{,Exact} API calls (GH-23602)

I think that none of these API calls can fail, but only few of them are
documented as such. Add the sentence "This function always succeeds" (which is
the same already used e.g. by PyNumber_Check) to all of them.

bpo-14014: Clarify StreamWriter.reset() documentation (GH-13716)

bpo-40959: Remove unused declarations from sqlite3 headers (GH-20828)

bpo-24464: Deprecate sqlite3.enable_shared_cache (GH-24008)

bpo-38413: Remove outdated section about multithreading in sqlite3 (GH-23159)

bpo-40810: Require SQLite 3.7.15 (GH-24106)

bpo-40956: Convert _sqlite3.Cursor to Argument Clinic (GH-24007)

bpo-42584: Update Windows installer to use SQLite 3.34.0 (GH-23675)

bpo-41837: Updated Windows installer to include OpenSSL 1.1.1i (GH-24125)

bpo-42823: Fix frame lineno when frame.f_trace is set (GH-24099)

* Add test for frame.f_lineno with/without tracing.

* Make sure that frame.f_lineno is correct regardless of whether frame.f_trace is set.

* Update importlib

* Add NEWS

bpo-32631: IDLE: Enable zzdummy example extension module (GH-14491)

Make menu items work with formatter, add docstrings, add 100% tests.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-42681: Fix test_curses failures related to color pairs (GH-24089)

On ncurses 6.1 pair numbers are limited by SHORT_MAX-1, even
with extended color support.

Improve error reporting and tests for color functions.

bpo-40636: Remove overly-strict zip pickling tests (GH-24109)

Fix broken NEWS markup (GH-24110)

bpo-40810: Fix CheckTraceCallbackContent for SQLite pre 3.7.15 (GH-20530)

Ref. [SQLite 3.7.15 changelog](https://sqlite.org/changes.html#version_3_7_15):
_"Avoid invoking the sqlite3_trace() callback multiple times when a statement is automatically reprepared due to SQLITE_SCHEMA errors."_

bpo-1635741: Convert _multibytecodec to multi-phase init (GH-24095)

Convert the _multibytecodec extension module (CJK codecs) to multi-phase
initialization (PEP 489).

Post 3.10.0a4

Merge tag 'v3.10.0a4'

Python 3.10.0a4

Do not remove x bit from published directories (GH-24101)

bpo-42810: Mark jumps at end of if and try statements as artificial. (GH-24091)

* Mark jumps at end of if and try statements as artificial.

* Update importlib

* Add comment explaining the purpose of ADDOP_JUMP_NOLINE.

Python 3.10.0a4

Fix 'make suspicious' for the itertools module (GH-24097)

bpo-1635741: Port pyexpat to multi-phase init (PEP 489) (GH-22222)

Delete the now unused c_do_not_emit_bytecode field. (#24094)

bpo-42692: fix __builtin_available check on older compilers (GH-23873)

A compiler that doesn't define `__has_builtin` will error out when it is
used on the same line as the check for it.

Automerge-Triggered-By: GH:ronaldoussoren

bpo-42789: Enable using /dev/tty in test_curses. (GH-24085)

It was temporary disabled for debugging.

Update Sphinx version for macOS installer build. (GH-24082)

bpo-42361: Update macOS installer build to use Tcl/Tk 8.6.11 (GH-24081)

As of 2021-01-03, Tcl/Tk 8.6.11rc2 is expected to be the final release.

bpo-41837: Update macOS installer build to use OpenSSL 1.1.1i. (GH-24080)

bpo-42584: Update macOS installer to use SQLite 3.34.0 (GH-23674)

bpo-42681: Fix range checks for color and pair numbers in curses (GH-23874)

bpo-41798: pyexpat: Allocate the expat_CAPI on the heap memory (GH-24061)

bpo-40077: Add traverse/clear/free to arraymodule (GH-24066)

bpo-38308: Fix the "versionchanged" for the *weights* of harmonic_mean() (GH-23919)

bpo-42814: Fix undefined behavior in Objects/genericaliasobject.c (GH-24073)

In is_typing_name(), va_end() is not always called before the
function returns.  It is undefined behavior to call va_start()
without also calling va_end().

bpo-42093: Tweak the what's new message about the new LOAD_ATTR opcode cache (GH-24070)

bpo-42806: Fix ast locations of f-strings inside parentheses (GH-24067)

bpo-40631: Disallow single parenthesized star target (GH-24027)

No need to test "istep==1" twice. (GH-24064)

bpo-42772: Step argument ignored when stop is None. (GH-24018)

bpo-42789: Don't skip curses tests on non-tty. (GH-24009)

If __stdout__ is not attached to terminal, try to use __stderr__
if it is attached to terminal, or open the terminal device, or
use regular file as terminal, but some functions will be untested
in the latter case.

bpo-42809: Improve pickle tests for recursive data. (GH-24060)

bpo-40077: Convert arraymodule to use heap types and establish module state (GH-23124)

bpo-42195: Disallow isinstance/issubclass for subclasses of genericaliases in Union (GH-24059)

Previously this didn't raise an error. Now it will:
```python
from collections.abc import Callable
isinstance(int, list | Callable[..., str])
```
Also added tests in Union since there were previously none for stuff like ``isinstance(list, list | list[int])`` either.

Backport to 3.9 not required.

Automerge-Triggered-By: GH:gvanrossum

handle empty string in variable executable in platform.libc_ver() (#23140)

bpo-41559: Documentation for PEP 612 (GH-24000)

bpo-42756: Configure LMTP Unix-domain socket to use global default timeout when timeout not provided (GH-23969)

Bring Python into the new year. (GH-24036)

bpo-42794: Update test_nntplib to use offical group name for testing (GH-24037)

bpo-42781: Document the mechanics of cached_property from a user viewpoint (GH-24031)

bpo-37193: Remove thread objects which finished process its request (GH-23127)

This reverts commit aca67da4fe68d5420401ac1782203d302875eb27.

Fixes a typo in importlib.metadata. (#23921)

Signed-off-by: Tao He <sighingnow@gmail.com>

bpo-42163, bpo-42189, bpo-42659: Support uname_tuple._replace (for all but processor) (#23010)

* Add test capturing missed expectation with uname_result._replace.

* bpo-42163: Override uname_result._make to allow uname_result._replace to work (for everything but 'processor'.

* Replace hard-coded length with one derived from the definition.

* Add test capturing missed expectation with copy/deepcopy on namedtuple (bpo-42189).

* bpo-42189: Exclude processor parameter when constructing uname_result.

* In _make, rely on __new__ to strip processor.

* Add blurb.

* iter is not necessary here.

* Rely on num_fields in __new__

* Add test for slices on uname

* Add test for copy and pickle.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
* import pickle

* Fix equality test after pickling.

* Simply rely on __reduce__ for pickling.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-42382: In importlib.metadata, `EntryPoint` objects now expose `dist` (#23758)

* bpo-42382: In importlib.metadata, `EntryPoint` objects now expose a `.dist` object referencing the `Distribution` when constructed from a `Distribution`.

Also, sync importlib_metadata 3.3:

- Add support for package discovery under package normalization rules.
- The object returned by `metadata()` now has a formally-defined protocol called `PackageMetadata` with declared support for the `.get_all()` method.

* Add blurb

* Remove latent footnote.