bpo-44860: Update test_sysconfig for posix_user platlib (GH-28235)

Update test_sysconfig.test_user_similar() for the posix_user scheme:
"platlib" doesn't use sys.platlibdir.

Specify default order in memoryview.tobytes() docs (GH-27936)

Fix small mistake in fileinput documentation (GH-28241)

bpo-20499: Rounding error in statistics.pvariance (GH-28230)

bpo-38371: Remove deprecated `tkinter` split() method (GH-28237)

bpo-44340: Update whatsnews for ThinLTO (GH-28229)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-45129 Remove deprecated reuse_address (GH-28207)

Due to significant security concerns, the reuse_address parameter of
asyncio.loop.create_datagram_endpoint, deprecated in Python 3.9, is
now removed. This is because of the behavior of the socket option
SO_REUSEADDR in UDP.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-19113: Remove unused test_errors from ctypes tests (GH-28008)

This test was forever shadowed by another test method named `test_errors`.

bpo-44959: Add fallback to extension modules with '.sl' suffix on HP-UX (GH-27857)

bpo-45121: Fix RecursionError when calling Protocol.__init__ from a subclass' __init__ (GH-28206)

bpo-45132 Remove deprecated __getitem__ methods (GH-28225)

Remove deprecated __getitem__ methods of xml.dom.pulldom.DOMEventStream,
wsgiref.util.FileWrapper and fileinput.FileInput, deprecated since Python 3.9.

bpo-39573: Py_TYPE becomes a static inline function (GH-28128)

Convert the Py_TYPE() and Py_SIZE() macros to static inline
functions. The Py_SET_TYPE() and Py_SET_SIZE() functions must now be
used to set an object type and size.

bpo-45022: Fix libffi DLL name in Windows installer sources (GH-28203)

bpo-24888: Clarify subprocess.check_call propagates exceptions if unable to start process (GH-28018)

Remove documentation for non-existing socket class attributes (GH-28029)

The functions in question are available on the module-level only.

bpo-45012: Release GIL around stat in os.scandir (GH-28085)

Releasing GIL allows other threads to continue
its work when os.scandir is fetching DirEntry.stat
info from file system.

Add more itertool recipes (GH-28165)

bpo-38820: Test with OpenSSL 3.0.0 final (GH-28205)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-45118: Fix regrtest second summary for re-run tests (GH-28183)

Fix regrtest second summary when using -w/--verbose2 command line
option: lists re-run tests in the second test summary.

bpo-45104: Clarify when __init__ is called (GH-28210)

bpo-44348: BaseException deallocator uses trashcan (GH-28190)

The deallocator function of the BaseException type now uses the
trashcan mecanism to prevent stack overflow. For example, when a
RecursionError instance is raised, it can be linked to another
RecursionError through the __context__ attribute or the __traceback__
attribute, and then a chain of exceptions is created. When the chain
is destroyed, nested deallocator function calls can crash with a
stack overflow if the chain is too long compared to the available
stack memory.

bpo-42064: Pass module state to trace, progress, and authorizer callbacks (GH-27940)

- add print-or-clear traceback helper
- add helpers to clear and visit saved contexts
- modify callbacks to use the new callback_context struct

bpo-45034: Fix how upper limit is formatted for `struct.pack("H", ...)` (GH-28178)

Co-authored-by: Mark Dickinson <dickinsm@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Revert "bpo-45035: Make sysconfig posix_home depend on platlibdir (GH-28011)" (GH-28201)

This reverts commit 4f88161f07538dfb24a43189fd59bf966cb40817.

bpo-44991: Normalise `sqlite3` callback naming (GH-28088)

- all callbacks are now named xxx_callback
- normalise callable naming in set_*() functions
- normalise context argument naming in callbacks

The sqlite code is being "touched" in bpo-42064 (and related issues);
this style change makes it easier to work with and review.

bpo-44964: Add a note explaining the new semantics of f_last_i in frame objects (GH-28200)

bpo-45123: PyAiter_Check and PyObject_GetAiter fix & rename. (GH-28194)

Fix PyAiter_Check to only check for the `__anext__` presense (not for
`__aiter__`). Rename `PyAiter_Check()` to `PyAIter_Check()`,
`PyObject_GetAiter()` -> `PyObject_GetAIter()`.

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>

bpo-45124: Remove the bdist_msi command (GH-28195)

The bdist_msi command, deprecated in Python 3.9, is now removed.
Use bdist_wheel (wheel packages) instead.

bpo-44963: Implement send() and throw() methods for anext_awaitable objects (GH-27955)

Co-authored-by: Yury Selivanov <yury@edgedb.com>

bpo-45035: Make sysconfig posix_home depend on platlibdir (GH-28011)

Make sysconfig posix_user not depend on platlibdir (GH-27655)

Update idlelib/help.html to include idle.rst spelling fix (GH-28191)

The idle.rst fix was GH-27903 two weeks ago.

bpo-34561: Switch to Munro & Wild "powersort" merge strategy. (#28108)

For list.sort(), replace our ad hoc merge ordering strategy with the principled, elegant,
and provably near-optimal one from Munro and Wild's "powersort".

bpo-45052: Unskips a failing `test_shared_memory_basics` test (GH-28182)

bpo-42238: [doc] remove unused, and deduplicate, suspicious ignore rules. (GH-28137)

bpo-44848: Update macOS installer to use SQLite 3.36.0 (GH-27621)

More useful OrderedDict LRU recipes (GH-28164)

bpo-41031: Match C and Python code formatting of unprintable exceptions and exceptions in the __main__ module. (GH-28139)

Extract visitors from the grammar nodes and call makers in the peg generator (GH-28172)

Simplify the peg generator logic by extracting as much visitors as possible to disentangle the flow and separate concerns.

bpo-45102: unittest: add tests for skipping and errors in cleanup (GH-28166)

bpo-44571:  Add itertool recipe for a variant of takewhile() (GH-28167)

Remove unused macros from Modules/_sqlite/microprotocols.h (GH-28171)

bpo-45042: Now test classes decorated with `requires_hashdigest` are not skipped (GH-28060)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Add What's New for dataclass keyword-only parameters. (GH-28158)

bpo-45030: Fix integer overflow in __reduce__ of the range iterator (GH-28000)

It happened with fast range iterator  when the calculated stop = start + step * len
was out of the C long range.

bpo-45097: Add more tests for shutdown_asyncgens() (GH-28154)

Check that 'configure' is generated by GNU Autoconf 2.69 (GH-28152)

Handle different string hash algorithms correctly (#28147)

bpo-45075: distinguish between frame and FrameSummary in traceback mo… (GH-28112)

bpo-45022: Update libffi to 3.4.2 in Windows build (GH-28146)

bpo-42255: Deprecate webbrowser.MacOSX from Python 3.11 (GH-27837)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-43950: support positions for dis.Instructions created through dis.Bytecode (GH-28142)

bpo-45094: Add Py_NO_INLINE macro (GH-28140)

* Rename _Py_NO_INLINE macro to Py_NO_INLINE: make it public and
  document it.
* Sort macros in the C API documentation.

bpo-34602: Quadruple stack size on macOS when compiling with UBSAN (GH-27309)

bpo-45083: Include the exception class qualname when formatting an exception (GH-28119)

Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>

bpo-45082: Cleanup ctypes.c_buffer alias (GH-28129)

* Remove commented deprecation of ctypes.c_buffer.
* Remove references to ctypes.c_string which doesn't exist.
* Remove StringTestCase: it only had skipped test methods.

bpo-45081: Fix __init__ method generation when inheriting from Protocol (GH-28121)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

[doc] Reword sentinel object summary in dataclasses (GH-27792)

This sentinel value (`MISSING`) is also used as default value for the `kw_only` parameter introduced in Python 3.10. It's cleaner to simply omit the usage here.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-40360: [doc] Rephrase deprecation note about lib2to3 (GH-28122)

bpo-43613: Faster implementation of gzip.compress and gzip.decompress (GH-27941)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

[doc] Link to deprecation policy PEP from the DeprecationWarning documentation (GH-28123)

bpo-45056: Remove trailing unused constants from co_consts (GH-28109)

bpo-37330: open() no longer accept 'U' in file mode (GH-28118)

open(), io.open(), codecs.open() and fileinput.FileInput no longer
accept "U" ("universal newline") in the file mode. This flag was
deprecated since Python 3.3.

bpo-45085: Remove the binhex module (GH-28117)

The binhex module, deprecated in Python 3.9, is now removed. The
following binascii functions, deprecated in Python 3.9, are now also
removed:

* a2b_hqx(), b2a_hqx();
* rlecode_hqx(), rledecode_hqx().

The binascii.crc_hqx() function remains available.

bpo-40360: Deprecate the lib2to3 package (GH-28116)

bpo-44895: libregrtest: refleak check clears types later (GH-28113)

libregrtest now clears the type cache later to reduce the risk of
false alarm when checking for reference leaks. Previously, the type
cache was cleared too early and libregrtest raised a false alarm
about reference leaks under very specific conditions.

Move also support.gc_collect() outside clear/cleanup functions to
make the garbage collection more explicit.

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

bpo-31299: make it possible to filter out frames from tracebacks (GH-28067)

bpo-45059: Add module cleanup to IDLE test_macosx (GH-28102)

bpo-45057: Simplify RegressionTestResult (GH-28081)

Remove code which duplicates the functionality of TextTestResult.

bpo-45039: Consistently use ADDOP_LOAD_CONST in compiler rather than ADDOP_O(c, LOAD_CONST,...) (GH-28015)

bpo-45059: Fix IDLE test typo: using "==" instead of "=" (GH-28086)

bpo-37596: Clean up the set/frozenset marshalling code (GH-28068)

bpo-45061: Detect Py_DECREF(Py_True) bug (GH-28089)

Add a deallocator to the bool type to detect refcount bugs in C
extensions which call Py_DECREF(Py_True) or Py_DECREF(Py_False) by
mistake.

bpo-44135: [docs] Fix inline markup (GH-28095)

bpo-45061: Enhance faulthandler traceback wit no Python frame (GH-28090)

Fix indentation of <no Python frame> message in a faulthandler
traceback or a Fatal Python error traceback. Example:

Current thread 0x00007f03896fb740 (most recent call first):
  Garbage-collecting
  <no Python frame>

bpo-45060: Get rid of few uses of the equality operators with None (GH-28087)

bpo-44135: Refine explanation of how passing tuples to issubclass() behaves (GH-26193)

Co-authored-by: Zachary Kneupper <zachary.kneupper@gmail.com>

bpo-42064: Offset arguments for PyObject_Vectorcall in the _sqlite module (GH-27931)

This allows e.g. methods to be called efficiently by providing
space for a "self" argument; see PY_VECTORCALL_ARGUMENTS_OFFSET docs.

bpo-44991: Make GIL handling more explicit in `sqlite3` callbacks (GH-27934)

- acquire the GIL at the very start[1]
- release the GIL at the very end

[1] The trace callback performs a sanity check before acquiring the GIL

Automerge-Triggered-By: GH:encukou

bpo-44925: [docs] Fix confusing deprecation notice for typing.IO (GH-28004)

bpo-39218: Improve accuracy of variance calculation (GH-27960)

bpo-45019: Add a tool to generate list of modules to include for frozen modules (gh-27980)

Frozen modules must be added to several files in order to work properly. Before this change this had to be done manually. Here we add a tool to generate the relevant lines in those files instead. This helps us avoid mistakes and omissions.

https://bugs.python.org/issue45019

bpo-44756: Remove misleading NEWS entries of a change that was reverted before release (GH-28075)

bpo-45041: Increase coverage for sqlite3.Cursor.executescript() (GH-28074)

bpo-16379: expose SQLite error codes and error names in `sqlite3` (GH-27786)

bpo-43398: Add test for defect connection factories (GH-27966)

bpo-43913: Fix bugs in cleaning up classes and modules in unittest. (GH-28006)

* Functions registered with addModuleCleanup() were not called unless
  the user defines tearDownModule() in their test module.
* Functions registered with addClassCleanup() were not called if
  tearDownClass is set to None.
* Buffering in TestResult did not work with functions registered
  with addClassCleanup() and addModuleCleanup().
* Errors in functions registered with addClassCleanup() and
  addModuleCleanup() were not handled correctly in buffered and
  debug modes.
* Errors in setUpModule() and functions registered with
  addModuleCleanup() were reported in wrong order.
* And several lesser bugs.

bpo-41620: TestCase.run() now always return a TestResult instance (GH-28030)

Previously it returned None if the test class or method was
decorated with a skipping decorator.

Co-authored-by: Iman Tabrizian <iman.tabrizian@gmail.com>

bpo-45007: Update multissl to openssl 1.1.1l as well (GH-28044)

This was missed while upgrading CI.

bpo-45045: Optimize mapping patterns of structural pattern matching (GH-28043)

bpo 45007: Update macOS installer builds to use OpenSSL 1.1.1l. (GH-28051)

bpo-44689: ctypes.util.find_library() now finds macOS 11+ system libraries when built on older macOS systems (#27251)

Previously, when built on older macOS systems, `find_library` was not able to find macOS system libraries when running on Big Sur due to changes in how system libraries are stored.

bpo-45007: Update to OpenSSL 1.1.1l in Windows build and CI (GH-28009)

bpo-43124: Fix smtplib multiple CRLF injection (GH-25987)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-44394: Update libexpat copy to 2.4.1 (GH-26945)

Update the vendored copy of libexpat to 2.4.1 (from 2.2.8) to get the
fix for the CVE-2013-0340 "Billion Laughs" vulnerability. This copy
is most used on Windows and macOS.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-42278: Use tempfile.TemporaryDirectory rather than tempfile.mktemp in pydoc (GH-23200)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-25130: Add calls of gc.collect() in tests to support PyPy (GH-28005)

bpo-25130: Make SQLite tests more compatible with PyPy (GH-28021)

bpo-25130: Make unit-test about restricting the maximum number of nested blocks cpython-only (GH-28002)

PyPy and potentially other implementations have different or no
contraints on the number of blocks that can be statically nested. move
the test that checks for this behaviour into a unit test and mark it as
CPython-only.

bpo-44962: Fix a race in WeakKeyDict, WeakValueDict and WeakSet when two threads attempt to commit the last pending removal (GH-27921)

Fixes:
Traceback (most recent call last):
  File "/home/graingert/projects/asyncio-demo/demo.py", line 36, in <module>
    sys.exit(main())
  File "/home/graingert/projects/asyncio-demo/demo.py", line 30, in main
    test_all_tasks_threading()
  File "/home/graingert/projects/asyncio-demo/demo.py", line 24, in test_all_tasks_threading
    results.append(f.result())
  File "/usr/lib/python3.10/concurrent/futures/_base.py", line 438, in result
    return self.__get_result()
  File "/usr/lib/python3.10/concurrent/futures/_base.py", line 390, in __get_result
    raise self._exception
  File "/usr/lib/python3.10/concurrent/futures/thread.py", line 52, in run
    result = self.fn(*self.args, **self.kwargs)
  File "/usr/lib/python3.10/asyncio/runners.py", line 47, in run
    _cancel_all_tasks(loop)
  File "/usr/lib/python3.10/asyncio/runners.py", line 56, in _cancel_all_tasks
    to_cancel = tasks.all_tasks(loop)
  File "/usr/lib/python3.10/asyncio/tasks.py", line 53, in all_tasks
    tasks = list(_all_tasks)
  File "/usr/lib/python3.10/_weakrefset.py", line 60, in __iter__
    with _IterationGuard(self):
  File "/usr/lib/python3.10/_weakrefset.py", line 33, in __exit__
    w._commit_removals()
  File "/usr/lib/python3.10/_weakrefset.py", line 57, in _commit_removals
    discard(l.pop())
IndexError: pop from empty list

Also fixes:
Exception ignored in: weakref callback <function WeakKeyDictionary.__init__.<locals>.remove at 0x00007fe82245d2e0>
Traceback (most recent call last):
  File "/usr/lib/pypy3/lib-python/3/weakref.py", line 390, in remove
    del self.data[k]
KeyError: <weakref at 0x00007fe76e8d8180; dead>
Exception ignored in: weakref callback <function WeakKeyDictionary.__init__.<locals>.remove at 0x00007fe82245d2e0>
Traceback (most recent call last):
  File "/usr/lib/pypy3/lib-python/3/weakref.py", line 390, in remove
    del self.data[k]
KeyError: <weakref at 0x00007fe76e8d81a0; dead>
Exception ignored in: weakref callback <function WeakKeyDictionary.__init__.<locals>.remove at 0x00007fe82245d2e0>
Traceback (most recent call last):
  File "/usr/lib/pypy3/lib-python/3/weakref.py", line 390, in remove
    del self.data[k]
KeyError: <weakref at 0x000056548f1e24a0; dead>

See: https://github.com/agronholm/anyio/issues/362#issuecomment-904424310
See also: https://bugs.python.org/issue29519

Co-authored-by: Łukasz Langa <lukasz@langa.pl>