bpo-40275: Move TransientResource to test_urllib2net (GH-20812)

Move TransientResource, time_out, socket_peer_reset and
ioerror_peer_reset from test.support to test_urllib2net.

Remove "import errno" from test.support.

bpo-40939: Remove PEG parser easter egg (__new_parser__) (#20802)

It no longer serves a purpose (there's only one parser) and having "new" in any name will eventually look odd. Also, it impinges on a potential sub-namespace, `__new_...__`.

bpo-40275: Add warnings_helper submodule in test.support (GH-20797)

bpo-40275: test.supports imports lazily fnmatch, glob, struct (GH-20810)

bpo-40947: getpath.c uses PyConfig.platlibdir (GH-20807)

Followup of bpo-40854, there is one remaining usage of PLATLIBDIR
which should be replaced by config->platlibdir.

test_sys checks that sys.platlibdir attribute exists and is a string.

Update Makefile: getpath.c and sysmodule.c no longer need PLATLIBDIR
macro, PyConfig.platlibdir member is used instead.

Co-authored-by: Sandro Mani <manisandro@gmail.com>

bpo-34401: Fix test_gdb for HP GDB version string (GH-20804)

The GDB provided by HPE on HP-UX contains a modified version string. Therefore
the tests fail. Adapt the regex to match that string.

Patch by Michael Osipov.

Co-Authored-by: Michael Osipov <michael.osipov@siemens.com>

bpo-40939: Generate keyword.py using the new parser (GH-20800)

bpo-40925: Remove unused stack macro SET_VALUE (GH-20783)

Collections module reformatting and minor code refactoring (GH-20772)

bpo-40847: Consider a line with only a LINECONT a blank line (GH-20769)

A line with only a line continuation character should be considered
a blank line at tokenizer level so that only a single NEWLINE token
gets emitted. The old parser was working around the issue, but the
new parser threw a `SyntaxError` for valid input. For example,
an empty line following a line continuation character was interpreted
as a `SyntaxError`.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-40275: Add import_helper submodule in test.support (GH-20794)

Restrict co_code to be under INT_MAX in codeobject (GH-20628)

bpo-40895: Update weakref documentation to remove old warnings (GH-20687)

The doccumentation at https://docs.python.org/3.10/library/weakref.html cautions that the `WeakKeyDictionary` and `WeakValueDictionary` are susceptible to the problem of dictionary mutation during iteration.

These notes present the user with a problem that has no easy solution.

I dug into the implementation and found that fortunately, Antoine Pitrou already addressed this challenge (10 years ago!) by introducing an `_IterationGuard` context manager to the implementation, which delays mutation while an iteration is in progress.

I asked for confirmation and @pitrou agreed that these notes could be removed:
https://github.com/python/cpython/commit/c1baa601e2b558deb690edfdf334fceee3b03327#commitcomment-39514438

bpo-39465: Use _PyInterpreterState_GET() (GH-20788)

Replace _PyThreadState_GET() with _PyInterpreterState_GET() in:

* get_small_int()
* gcmodule.c: add also get_gc_state() function
* _PyTrash_deposit_object()
* _PyTrash_destroy_chain()
* warnings_get_state()
* Py_GetRecursionLimit()

Cleanup listnode.c: add 'parser' variable.

bpo-40927: Fix test_binhex when run twice (GH-20764)

test_binhex now uses import_fresh_module() to ensure that it raises
DeprecationWarning each time.

_PyPreConfig_Read() decodes argv at each iteration (GH-20786)

_PyPreConfig_Read() now calls _PyPreCmdline_SetArgv() at each
iteration, so bytes strings are decoded from the new encoding.

bpo-40826: Fix test_repl.test_close_stdin() on Windows (GH-20779)

test_repl.test_close_stdin() now calls
support.suppress_msvcrt_asserts() to fix the test on Windows.

* Move suppress_msvcrt_asserts() from test.libregrtest.setup to
  test.support. Make its verbose parameter optional: verbose=False by
  default.
* Add msvcrt.GetErrorMode().
* SuppressCrashReport now uses GetErrorMode() and SetErrorMode() of
  the msvcrt module, rather than using ctypes.
* Remove also an unused variable (deadline) in wait_process().

bpo-40943: Replace PY_FORMAT_SIZE_T with "z" (GH-20781)

The PEP 353, written in 2005, introduced PY_FORMAT_SIZE_T. Python no
longer supports macOS 10.4 and Visual Studio 2010, but requires more
recent macOS and Visual Studio versions. In 2020 with Python 3.10, it
is now safe to use directly "%zu" to format size_t and "%zi" to
format Py_ssize_t.

bpo-40703: Let PyType_FromSpec() set "type.__module__" only if it is not set yet. (GH-20273)

bpo-36543: Revert "bpo-36543: Remove the xml.etree.cElementTree module." (GH-20117)

* Revert "bpo-36543: Remove the xml.etree.cElementTree module. (GH-19108)"

This reverts commit b33e52511a59c6da7132c226b7f7489b092a33eb.

Raise specialised syntax error for invalid lambda parameters (GH-20776)

bpo-40275: Add os_helper submodule in test.support (GH-20765)

bpo-40889: Optimize dict.items() ^ dict.items() (GH-20718)

bpo-32604: Recommit "bpo-32604: PEP 554 for use in test suite (GH-19985)" (GH-20611)

* PEP 554 for use in test suite

* 📜🤖 Added by blurb_it.

* Fix space

* Add doc to doc tree

* Move to modules doc tree

* Fix suspicious doc errors

* Fix test__all

* Docs docs docs

* Support isolated and fix wait

* Fix white space

* Remove undefined from __all__

* Fix recv and add exceptions

* Remove unused exceptions, fix pep 8 formatting errors and fix _NOT_SET in recv_nowait()

* Update Lib/test/support/interpreters.py

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
* Remove documentation (module is for internal use)

Co-authored-by: nanjekyejoannah <joannah.nanjekye@ibm.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-34003: Re-add versionchanged entry in csv docs (GH-20657)

Follow-up to GH-8014

Remove usesless function from csv module (GH-20762)

bpo-40684: Fix make install for platlibdir=lib64 (GH-20736)

"make install" now uses the PLATLIBDIR variable for the destination
lib-dynload/ directory when ./configure --with-platlibdir is used.

Update --with-platlibdir comment in configure.

Remove reference to 3.7 and 3.8 backports. (GH-20754)

Minor improvement to the namedtuple implementation (GH-20741)

* Cleaner way to build the arg list with a trailing comma when required

* Fix appearance of __new__ in help()

bpo-24914: mention Python supports multiple paradigms in the FAQ (#20658)

bpo-40854: PYTHONPLATLIBDIR env var added to 3.9 (GH-20735)

Add multicore support to deccheck.py. (GH-20731)

Remove deleted libmpdec header from the Visual Studio build machinery. (GH-20730)

bpo-40861: Enable optimizations when building liblzma (GH-20724)

bpo-40910: Export Py_GetArgcArgv() function (GH-20721)

Export explicitly the Py_GetArgcArgv() function to the C API and
document the function. Previously, it was exported implicitly which
no longer works since Python is built with -fvisibility=hidden.

* Add PyConfig._orig_argv member.
* Py_InitializeFromConfig() no longer calls _PyConfig_Write() twice.
* PyConfig_Read() no longer initializes Py_GetArgcArgv(): it is now
  _PyConfig_Write() responsibility.
* _PyConfig_Write() result type becomes PyStatus instead of void.
* Write an unit test on Py_GetArgcArgv().

bpo-40854: Allow overriding sys.platlibdir via PYTHONPLATLIBDIR env-var (GH-20605)

bpo-29882: Add _Py_popcount32() function (GH-20518)

* Rename pycore_byteswap.h to pycore_bitutils.h.
* Move popcount_digit() to pycore_bitutils.h as _Py_popcount32().
* _Py_popcount32() uses GCC and clang builtin function if available.
* Add unit tests to _Py_popcount32().

bpo-33187: Document 3.9 changes to xml.etree.ElementInclude.include (GH-20438)

Looks like the merging of bpo-33187 and bpo-20928 was racy, resulting in
this change going undocumented.

allow macOS installer builds to package pre-built html docs (GH-20715)

build-installer now looks in its directory of source tarballs
for a suitable html tarball of the same version.  If so, it
will unpack and use it rather than rebuilding the html format
documentation set from the source repo.  This is intended as
a speedup for test builds of the installer.  Files names must
be in the same format as produced by the docs build for download,
for example, `python-3.9.0b1-docs-html.tar.bz2`.

Deny eval() direct access to builtins (GH-20713)

bpo-22021: Update root_dir and base_dir documentation in shutil (GH-10367)

Also added an example in shutil in order to make more clear how they are to be used.

Initially reported by Weinan Li on bpo.

bpo-40741: Update macOS installer to use SQLite 3.32.2. (GH-20705)

bpo-40903: Handle multiple '=' in invalid assignment rules in the PEG parser (GH-20697)

Automerge-Triggered-By: @pablogsal

bpo-39791 native hooks for importlib.resources.files (GH-20576)

* Provide native .files support on SourceFileLoader.

* Add native importlib.resources.files() support to zipimporter. Remove fallback support.

* make regen-all

* 📜🤖 Added by blurb_it.

* Move 'files' into the ResourceReader so it can carry the relevant module name context.

* Create 'importlib.readers' module and add FileReader to it.

* Add zip reader and rely on it for a TraversableResources object on zipimporter.

* Remove TraversableAdapter, no longer needed.

* Update blurb.

* Replace backslashes with forward slashes.

* Incorporate changes from importlib_metadata 2.0, finalizing the interface for extension via get_resource_reader.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-40904: Fix segfault in the new parser with f-string containing yield statements with no value (GH-20701)

bpo-40887: Don't use finalized free lists (GH-20700)

In debug mode, ensure that free lists are no longer used after being
finalized. Set numfree to -1 in finalization functions
(eg. _PyList_Fini()), and then check that numfree is not equal to -1
before using a free list (e.g list_dealloc()).

bpo-40881: Fix unicode_release_interned() (GH-20699)

Use Py_SET_REFCNT() in unicode_release_interned().

bpo-40887: Fix finalize_interp_clear() for free lists (GH-20698)

Reorganize code to ensure that free lists are cleared in the right
order. Call _PyWarnings_Fini() before _PyList_Fini().

bpo-39791: Support file systems that cannot support non-ascii filenames (skipping tests in that case). (#20681)

bpo-40898: Remove redundant if statements in tp_traverse (GH-20692)

Fix return type of test helper function heapctypewithbuffer_releasebuffer() (GH-20685)

Update comments to reflect the current API (GH-20682)

bpo-40724: Support setting buffer slots from type specs (GH-20648)

This is not part of the limited API but makes the buffer slots available for type specs.

bpo-40870: Invalidate usage of some constants with ast.Name (GH-20649)

[workflow] Use gcc problem matcher for Ubuntu action build (GH-18567)

Refactor scripts in Tools/peg_generator/scripts (GH-20401)

bpo-40880: Fix invalid read in newline_in_string in pegen.c (#20666)

* bpo-40880: Fix invalid read in newline_in_string in pegen.c

* Update Parser/pegen/pegen.c

Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
* Add NEWS entry

Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>

bpo-40883: Fix memory leak in fstring_compile_expr in parse_string.c (GH-20667)

bpo-40862: Raise TypeError when const is given to argparse.BooleanOptionalAction (GH-20623)

bpo-40867: Remove unused include from Module/_randommodule.c (GH-20635)

bpo-40876: Clarify error message in the csv module (GH-20653)

bpo-39791: Refresh importlib.metadata from importlib_metadata 1.6.1. (GH-20659)

* Refresh importlib.metadata from importlib_metadata 1.6.1.

* 📜🤖 Added by blurb_it.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

Fix missing FloatOperation in EXTRA_FUNCTIONALITY path. (#20655)

bpo-19468: delete unnecessary instance check in importlib.reload() (GH-19424)

Automerge-Triggered-By: @brettcannon

bpo-40874: Update to libmpdec-2.5.0 (GH-20652)

bpo-1635741: Port mmap module to multiphase initialization (GH-19459)

bpo-40521: Make context free list per-interpreter (GH-20644)

Each interpreter now has its own context free list:

* Move context free list into PyInterpreterState.
* Add _Py_context_state structure.
* Add tstate parameter to _PyContext_ClearFreeList()
  and _PyContext_Fini().
* Pass tstate to clear_freelists().

bpo-40521: Make async gen free lists per-interpreter (GH-20643)

Each interpreter now has its own asynchronous generator free lists:

* Move async gen free lists into PyInterpreterState.
* Move _PyAsyncGen_MAXFREELIST define to pycore_interp.h
* Add _Py_async_gen_state structure.
* Add tstate parameter to _PyAsyncGen_ClearFreeLists
  and _PyAsyncGen_Fini().

bpo-40521: Make list free list per-interpreter (GH-20642)

Each interpreter now has its own list free list:

* Move list numfree and free_list into PyInterpreterState.
* Add _Py_list_state structure.
* Add tstate parameter to _PyList_ClearFreeList()
  and _PyList_Fini().
* Remove "#ifdef EXPERIMENTAL_ISOLATED_SUBINTERPRETERS".
* _PyGC_Fini() clears gcstate->garbage list which can be stored in
  the list free list. Call _PyGC_Fini() before _PyList_Fini() to
  prevent leaking this list.

bpo-40807: Show warnings once from codeop._maybe_compile (#20486)

* bpo-40807: Show warnings once from codeop._maybe_compile

* Move catch_warnings

* news

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-40521: Make frame free list per-interpreter (GH-20638)

Each interpreter now has its own frame free list:

* Move frame free list into PyInterpreterState.
* Add _Py_frame_state structure.
* Add tstate parameter to _PyFrame_ClearFreeList()
  and _PyFrame_Fini().
* Remove "#if PyFrame_MAXFREELIST > 0".
* Remove "#ifdef EXPERIMENTAL_ISOLATED_SUBINTERPRETERS".

bpo-40521: Make slice cache per-interpreter (GH-20637)

Each interpreter now has its own slice cache:

* Move slice cache into PyInterpreterState.
* Add tstate parameter to _PySlice_Fini().

bpo-40521: Make float free list per-interpreter (GH-20636)

Each interpreter now has its own float free list:

* Move tuple numfree and free_list into PyInterpreterState.
* Add _Py_float_state structure.
* Add tstate parameter to _PyFloat_ClearFreeList()
  and _PyFloat_Fini().

bpo-40521: Make tuple free list per-interpreter (GH-20247)

Each interpreter now has its own tuple free lists:

* Move tuple numfree and free_list arrays into PyInterpreterState.
* Define PyTuple_MAXSAVESIZE and PyTuple_MAXFREELIST macros in
  pycore_interp.h.
* Add _Py_tuple_state structure. Pass it explicitly to tuple_alloc().
* Add tstate parameter to _PyTuple_ClearFreeList()
* Each interpreter now has its own empty tuple singleton.

bpo-39573: Porting to Python 3.10: Py_SET_SIZE() macro (GH-20610)

In What's New in Python 3.10, propose Py_SET_SIZE(), Py_SET_REFCNT()
and Py_SET_TYPE() macros for backward compatibility with Python 3.9
and older.

bpo-40865: Remove unused insint() macro from hash modules (GH-20627)

Automerge-Triggered-By: @tiran

Fix spacing in docs for tarfile (GH-20629)

Before
```
content.txt is 42 bytes in size and isa regular file.
folder is 420 bytes in size and isa directory.
magic is 4200 bytes in size and issomething else.
```

After:
```
content.txt is 42 bytes in size and is a regular file.
folder is 420 bytes in size and is a directory.
magic is 4200 bytes in size and is something else.
```

Automerge-Triggered-By: @orsenthil

bpo-40679: Fix _PyEval_EvalCode() crash if qualname is NULL (GH-20615)

If name is NULL, name is now set to co->co_name.
If qualname is NULL, qualname is now set to name.

qualname must not be NULL: it is used to build error messages.

Cleanup also the code: declare variables where they are initialized.
Rename "name" local variables to "varname" to avoid overriding "name"
parameter.

bpo-17258: Add requires_hashdigest to multiprocessing tests (GH-20412)

Skip some :mod:`multiprocessing` tests when MD5 hash digest is blocked.

Signed-off-by: Christian Heimes <christian@python.org>

Don't raise an exception on normal return from generator. (GH-19473)

Fix MSVC warning in frameobject.c (GH-20590)

Remove unused ReaderObject_Check macro (#20614)

Update error message in _zoneinfo.py to use f-string (GH-20577)

Inline with the rest of the file, updated error message to use f-string.

bpo-40471: Fix grammar typo in 'issubclass' docstring (GH-19847)

Just a brief grammar fix.

See also <>.

bpo-40767: Allow pure Wayland to get default XDG web browser (GH-20382)

Would be nice to backport to python 3.7+. I don't think it's worth the hassle to backport this all the way down to 3.10. But I'll let the maintainers decide.

This is hard to test because the test setup already includes this [environment variable](https://github.com/python/cpython/blob/master/Lib/test/pythoninfo.py#L292)

Let me know if something doesn't match the PR guidelines. This is my first PR in the python source code.

bpo-40826: Add _PyOS_InterruptOccurred(tstate) function (GH-20599)

my_fgets() now calls _PyOS_InterruptOccurred(tstate) to check for
pending signals, rather calling PyOS_InterruptOccurred().

my_fgets() is called with the GIL released, whereas
PyOS_InterruptOccurred() must be called with the GIL held.

test_repl: use text=True and avoid SuppressCrashReport in
test_multiline_string_parsing().

Fix my_fgets() on Windows: fgets(fp) does crash if fileno(fp) is closed.

bpo-32604: Fix reference leak in select module (GH-20600)

Fix reference leak in PyInit_select() of the select module:
remove Py_INCREF(poll_Type).

PyOS_AfterFork_Child() pass tstate to _PyEval_ReInitThreads() (GH-20598)

bpo-40232: _PyImport_ReInitLock() can now safely use its lock (GH-20597)

Since _PyImport_ReInitLock() now calls _PyThread_at_fork_reinit() on
the import lock, the lock is now in a known state: unlocked. It
became safe to acquire it after fork.

PyOS_AfterFork_Child() uses PyStatus (GH-20596)

PyOS_AfterFork_Child() helper functions now return a PyStatus:
PyOS_AfterFork_Child() is now responsible to handle errors.

* Move _PySignal_AfterFork() to the internal C API
* Add #ifdef HAVE_FORK on _PyGILState_Reinit(), _PySignal_AfterFork()
  and _PyInterpreterState_DeleteExceptMain().

bpo-39465: Cleanup _PyUnicode_FromId() code (GH-20595)

Work on a local variable before filling _Py_Identifier members.

bpo-40839: PyDict_GetItem() requires the GIL (GH-20580)

Calling PyDict_GetItem() without GIL held had been allowed for
historical reason. It is no longer allowed.

bpo-35078: Allow customization of CSS class name of a month in calendar module (gh-10137)

Refactor formatweekday(), formatmonthname() methods in LocaleHTMLCalendar and LocaleTextCalendar classes in calendar module to call the base class methods. This enables customizable CSS classes for LocaleHTMLCalendar and LocaleTextCalendar.

Patch by Srinivas Reddy Thatiparthy

bpo-40241: What's New in Python 3.9: opaque PyGC_Head (GH-20586)

bpo-40244: Remove XLC's support from the noreturn flag (GH-20588)

Automerge-Triggered-By: @pablogsal

Fix MSVC warnings in pythonrun.c (#GH-0587)

bpo-26543: Fix IMAP4.noop when debug mode is enabled (GH-15206)

Ensure correct version of Sphinx is used for Windows builds (GH-20582)

bpo-40826: Fix GIL usage in PyOS_Readline() (GH-20579)

Fix GIL usage in PyOS_Readline(): lock the GIL to set an exception.

Pass tstate to my_fgets() and _PyOS_WindowsConsoleReadline(). Cleanup
these functions.

bpo-39583: Remove superfluous "extern C" bits from Include/cpython/*.h (GH-18413)