Remove documentation for non-existing socket class attributes (GH-28029)

The functions in question are available on the module-level only.

bpo-45012: Release GIL around stat in os.scandir (GH-28085)

Releasing GIL allows other threads to continue
its work when os.scandir is fetching DirEntry.stat
info from file system.

Add more itertool recipes (GH-28165)

bpo-38820: Test with OpenSSL 3.0.0 final (GH-28205)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-45118: Fix regrtest second summary for re-run tests (GH-28183)

Fix regrtest second summary when using -w/--verbose2 command line
option: lists re-run tests in the second test summary.

bpo-45104: Clarify when __init__ is called (GH-28210)

bpo-44348: BaseException deallocator uses trashcan (GH-28190)

The deallocator function of the BaseException type now uses the
trashcan mecanism to prevent stack overflow. For example, when a
RecursionError instance is raised, it can be linked to another
RecursionError through the __context__ attribute or the __traceback__
attribute, and then a chain of exceptions is created. When the chain
is destroyed, nested deallocator function calls can crash with a
stack overflow if the chain is too long compared to the available
stack memory.

bpo-42064: Pass module state to trace, progress, and authorizer callbacks (GH-27940)

- add print-or-clear traceback helper
- add helpers to clear and visit saved contexts
- modify callbacks to use the new callback_context struct

bpo-45034: Fix how upper limit is formatted for `struct.pack("H", ...)` (GH-28178)

Co-authored-by: Mark Dickinson <dickinsm@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Revert "bpo-45035: Make sysconfig posix_home depend on platlibdir (GH-28011)" (GH-28201)

This reverts commit 4f88161f07538dfb24a43189fd59bf966cb40817.

bpo-44991: Normalise `sqlite3` callback naming (GH-28088)

- all callbacks are now named xxx_callback
- normalise callable naming in set_*() functions
- normalise context argument naming in callbacks

The sqlite code is being "touched" in bpo-42064 (and related issues);
this style change makes it easier to work with and review.

bpo-44964: Add a note explaining the new semantics of f_last_i in frame objects (GH-28200)

bpo-45123: PyAiter_Check and PyObject_GetAiter fix & rename. (GH-28194)

Fix PyAiter_Check to only check for the `__anext__` presense (not for
`__aiter__`). Rename `PyAiter_Check()` to `PyAIter_Check()`,
`PyObject_GetAiter()` -> `PyObject_GetAIter()`.

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>

bpo-45124: Remove the bdist_msi command (GH-28195)

The bdist_msi command, deprecated in Python 3.9, is now removed.
Use bdist_wheel (wheel packages) instead.

bpo-44963: Implement send() and throw() methods for anext_awaitable objects (GH-27955)

Co-authored-by: Yury Selivanov <yury@edgedb.com>

bpo-45035: Make sysconfig posix_home depend on platlibdir (GH-28011)

Make sysconfig posix_user not depend on platlibdir (GH-27655)

Update idlelib/help.html to include idle.rst spelling fix (GH-28191)

The idle.rst fix was GH-27903 two weeks ago.

bpo-34561: Switch to Munro & Wild "powersort" merge strategy. (#28108)

For list.sort(), replace our ad hoc merge ordering strategy with the principled, elegant,
and provably near-optimal one from Munro and Wild's "powersort".

bpo-45052: Unskips a failing `test_shared_memory_basics` test (GH-28182)

bpo-42238: [doc] remove unused, and deduplicate, suspicious ignore rules. (GH-28137)

bpo-44848: Update macOS installer to use SQLite 3.36.0 (GH-27621)

More useful OrderedDict LRU recipes (GH-28164)

bpo-41031: Match C and Python code formatting of unprintable exceptions and exceptions in the __main__ module. (GH-28139)

Extract visitors from the grammar nodes and call makers in the peg generator (GH-28172)

Simplify the peg generator logic by extracting as much visitors as possible to disentangle the flow and separate concerns.

bpo-45102: unittest: add tests for skipping and errors in cleanup (GH-28166)

bpo-44571:  Add itertool recipe for a variant of takewhile() (GH-28167)

Remove unused macros from Modules/_sqlite/microprotocols.h (GH-28171)

bpo-45042: Now test classes decorated with `requires_hashdigest` are not skipped (GH-28060)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Add What's New for dataclass keyword-only parameters. (GH-28158)

bpo-45030: Fix integer overflow in __reduce__ of the range iterator (GH-28000)

It happened with fast range iterator  when the calculated stop = start + step * len
was out of the C long range.

bpo-45097: Add more tests for shutdown_asyncgens() (GH-28154)

Check that 'configure' is generated by GNU Autoconf 2.69 (GH-28152)

Handle different string hash algorithms correctly (#28147)

bpo-45075: distinguish between frame and FrameSummary in traceback mo… (GH-28112)

bpo-45022: Update libffi to 3.4.2 in Windows build (GH-28146)

bpo-42255: Deprecate webbrowser.MacOSX from Python 3.11 (GH-27837)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-43950: support positions for dis.Instructions created through dis.Bytecode (GH-28142)

bpo-45094: Add Py_NO_INLINE macro (GH-28140)

* Rename _Py_NO_INLINE macro to Py_NO_INLINE: make it public and
  document it.
* Sort macros in the C API documentation.

bpo-34602: Quadruple stack size on macOS when compiling with UBSAN (GH-27309)

bpo-45083: Include the exception class qualname when formatting an exception (GH-28119)

Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>

bpo-45082: Cleanup ctypes.c_buffer alias (GH-28129)

* Remove commented deprecation of ctypes.c_buffer.
* Remove references to ctypes.c_string which doesn't exist.
* Remove StringTestCase: it only had skipped test methods.

bpo-45081: Fix __init__ method generation when inheriting from Protocol (GH-28121)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

[doc] Reword sentinel object summary in dataclasses (GH-27792)

This sentinel value (`MISSING`) is also used as default value for the `kw_only` parameter introduced in Python 3.10. It's cleaner to simply omit the usage here.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-40360: [doc] Rephrase deprecation note about lib2to3 (GH-28122)

bpo-43613: Faster implementation of gzip.compress and gzip.decompress (GH-27941)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

[doc] Link to deprecation policy PEP from the DeprecationWarning documentation (GH-28123)

bpo-45056: Remove trailing unused constants from co_consts (GH-28109)

bpo-37330: open() no longer accept 'U' in file mode (GH-28118)

open(), io.open(), codecs.open() and fileinput.FileInput no longer
accept "U" ("universal newline") in the file mode. This flag was
deprecated since Python 3.3.

bpo-45085: Remove the binhex module (GH-28117)

The binhex module, deprecated in Python 3.9, is now removed. The
following binascii functions, deprecated in Python 3.9, are now also
removed:

* a2b_hqx(), b2a_hqx();
* rlecode_hqx(), rledecode_hqx().

The binascii.crc_hqx() function remains available.

bpo-40360: Deprecate the lib2to3 package (GH-28116)

bpo-44895: libregrtest: refleak check clears types later (GH-28113)

libregrtest now clears the type cache later to reduce the risk of
false alarm when checking for reference leaks. Previously, the type
cache was cleared too early and libregrtest raised a false alarm
about reference leaks under very specific conditions.

Move also support.gc_collect() outside clear/cleanup functions to
make the garbage collection more explicit.

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

bpo-31299: make it possible to filter out frames from tracebacks (GH-28067)

bpo-45059: Add module cleanup to IDLE test_macosx (GH-28102)

bpo-45057: Simplify RegressionTestResult (GH-28081)

Remove code which duplicates the functionality of TextTestResult.

bpo-45039: Consistently use ADDOP_LOAD_CONST in compiler rather than ADDOP_O(c, LOAD_CONST,...) (GH-28015)

bpo-45059: Fix IDLE test typo: using "==" instead of "=" (GH-28086)

bpo-37596: Clean up the set/frozenset marshalling code (GH-28068)

bpo-45061: Detect Py_DECREF(Py_True) bug (GH-28089)

Add a deallocator to the bool type to detect refcount bugs in C
extensions which call Py_DECREF(Py_True) or Py_DECREF(Py_False) by
mistake.

bpo-44135: [docs] Fix inline markup (GH-28095)

bpo-45061: Enhance faulthandler traceback wit no Python frame (GH-28090)

Fix indentation of <no Python frame> message in a faulthandler
traceback or a Fatal Python error traceback. Example:

Current thread 0x00007f03896fb740 (most recent call first):
  Garbage-collecting
  <no Python frame>

bpo-45060: Get rid of few uses of the equality operators with None (GH-28087)

bpo-44135: Refine explanation of how passing tuples to issubclass() behaves (GH-26193)

Co-authored-by: Zachary Kneupper <zachary.kneupper@gmail.com>

bpo-42064: Offset arguments for PyObject_Vectorcall in the _sqlite module (GH-27931)

This allows e.g. methods to be called efficiently by providing
space for a "self" argument; see PY_VECTORCALL_ARGUMENTS_OFFSET docs.

bpo-44991: Make GIL handling more explicit in `sqlite3` callbacks (GH-27934)

- acquire the GIL at the very start[1]
- release the GIL at the very end

[1] The trace callback performs a sanity check before acquiring the GIL

Automerge-Triggered-By: GH:encukou

bpo-44925: [docs] Fix confusing deprecation notice for typing.IO (GH-28004)

bpo-39218: Improve accuracy of variance calculation (GH-27960)

bpo-45019: Add a tool to generate list of modules to include for frozen modules (gh-27980)

Frozen modules must be added to several files in order to work properly. Before this change this had to be done manually. Here we add a tool to generate the relevant lines in those files instead. This helps us avoid mistakes and omissions.

https://bugs.python.org/issue45019

bpo-44756: Remove misleading NEWS entries of a change that was reverted before release (GH-28075)

bpo-45041: Increase coverage for sqlite3.Cursor.executescript() (GH-28074)

bpo-16379: expose SQLite error codes and error names in `sqlite3` (GH-27786)

bpo-43398: Add test for defect connection factories (GH-27966)

bpo-43913: Fix bugs in cleaning up classes and modules in unittest. (GH-28006)

* Functions registered with addModuleCleanup() were not called unless
  the user defines tearDownModule() in their test module.
* Functions registered with addClassCleanup() were not called if
  tearDownClass is set to None.
* Buffering in TestResult did not work with functions registered
  with addClassCleanup() and addModuleCleanup().
* Errors in functions registered with addClassCleanup() and
  addModuleCleanup() were not handled correctly in buffered and
  debug modes.
* Errors in setUpModule() and functions registered with
  addModuleCleanup() were reported in wrong order.
* And several lesser bugs.

bpo-41620: TestCase.run() now always return a TestResult instance (GH-28030)

Previously it returned None if the test class or method was
decorated with a skipping decorator.

Co-authored-by: Iman Tabrizian <iman.tabrizian@gmail.com>

bpo-45007: Update multissl to openssl 1.1.1l as well (GH-28044)

This was missed while upgrading CI.

bpo-45045: Optimize mapping patterns of structural pattern matching (GH-28043)

bpo 45007: Update macOS installer builds to use OpenSSL 1.1.1l. (GH-28051)

bpo-44689: ctypes.util.find_library() now finds macOS 11+ system libraries when built on older macOS systems (#27251)

Previously, when built on older macOS systems, `find_library` was not able to find macOS system libraries when running on Big Sur due to changes in how system libraries are stored.

bpo-45007: Update to OpenSSL 1.1.1l in Windows build and CI (GH-28009)

bpo-43124: Fix smtplib multiple CRLF injection (GH-25987)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-44394: Update libexpat copy to 2.4.1 (GH-26945)

Update the vendored copy of libexpat to 2.4.1 (from 2.2.8) to get the
fix for the CVE-2013-0340 "Billion Laughs" vulnerability. This copy
is most used on Windows and macOS.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-42278: Use tempfile.TemporaryDirectory rather than tempfile.mktemp in pydoc (GH-23200)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-25130: Add calls of gc.collect() in tests to support PyPy (GH-28005)

bpo-25130: Make SQLite tests more compatible with PyPy (GH-28021)

bpo-25130: Make unit-test about restricting the maximum number of nested blocks cpython-only (GH-28002)

PyPy and potentially other implementations have different or no
contraints on the number of blocks that can be statically nested. move
the test that checks for this behaviour into a unit test and mark it as
CPython-only.

bpo-44962: Fix a race in WeakKeyDict, WeakValueDict and WeakSet when two threads attempt to commit the last pending removal (GH-27921)

Fixes:
Traceback (most recent call last):
  File "/home/graingert/projects/asyncio-demo/demo.py", line 36, in <module>
    sys.exit(main())
  File "/home/graingert/projects/asyncio-demo/demo.py", line 30, in main
    test_all_tasks_threading()
  File "/home/graingert/projects/asyncio-demo/demo.py", line 24, in test_all_tasks_threading
    results.append(f.result())
  File "/usr/lib/python3.10/concurrent/futures/_base.py", line 438, in result
    return self.__get_result()
  File "/usr/lib/python3.10/concurrent/futures/_base.py", line 390, in __get_result
    raise self._exception
  File "/usr/lib/python3.10/concurrent/futures/thread.py", line 52, in run
    result = self.fn(*self.args, **self.kwargs)
  File "/usr/lib/python3.10/asyncio/runners.py", line 47, in run
    _cancel_all_tasks(loop)
  File "/usr/lib/python3.10/asyncio/runners.py", line 56, in _cancel_all_tasks
    to_cancel = tasks.all_tasks(loop)
  File "/usr/lib/python3.10/asyncio/tasks.py", line 53, in all_tasks
    tasks = list(_all_tasks)
  File "/usr/lib/python3.10/_weakrefset.py", line 60, in __iter__
    with _IterationGuard(self):
  File "/usr/lib/python3.10/_weakrefset.py", line 33, in __exit__
    w._commit_removals()
  File "/usr/lib/python3.10/_weakrefset.py", line 57, in _commit_removals
    discard(l.pop())
IndexError: pop from empty list

Also fixes:
Exception ignored in: weakref callback <function WeakKeyDictionary.__init__.<locals>.remove at 0x00007fe82245d2e0>
Traceback (most recent call last):
  File "/usr/lib/pypy3/lib-python/3/weakref.py", line 390, in remove
    del self.data[k]
KeyError: <weakref at 0x00007fe76e8d8180; dead>
Exception ignored in: weakref callback <function WeakKeyDictionary.__init__.<locals>.remove at 0x00007fe82245d2e0>
Traceback (most recent call last):
  File "/usr/lib/pypy3/lib-python/3/weakref.py", line 390, in remove
    del self.data[k]
KeyError: <weakref at 0x00007fe76e8d81a0; dead>
Exception ignored in: weakref callback <function WeakKeyDictionary.__init__.<locals>.remove at 0x00007fe82245d2e0>
Traceback (most recent call last):
  File "/usr/lib/pypy3/lib-python/3/weakref.py", line 390, in remove
    del self.data[k]
KeyError: <weakref at 0x000056548f1e24a0; dead>

See: https://github.com/agronholm/anyio/issues/362#issuecomment-904424310
See also: https://bugs.python.org/issue29519

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

Fix typo in a comment in Modules/_ssl.c: s/validata/validate/ (GH-27993)

Refine specialization stats (GH-27992)

bpo-44997: macOS does not support loadable SQLite extensions (GH-27979)

Authored-by: Ronald Oussoren <ronaldoussoren@mac.com>

bpo-45018: Fix rangeiter_reduce in rangeobject.c (GH-27938)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

Update ACKS (GH-27988)

bpo-44945: Specialize BINARY_ADD (GH-27967)

bpo-41818: ++ termios versionadded markers. (GH-27987)

overlooked in https://github.com/python/cpython/pull/23686

bpo-41818: Add termios.tcgetwinsize(), termios.tcsetwinsize(). (GH-23686)

* Add termios.tcgetwinsize(), termios.tcsetwinsize(). Update docs.
* Add TIOCGSIZE support to termios.tcgetwinsize()
* Add TIOCSSIZE support to termios.tcsetwinsize()

Authored-by: Soumendra Ganguly <soumendraganguly@gmail.com>
* termios.tcgetwinsize() and termios.tcsetwinsize() should return/accept two-item tuples instead of lists.
* Refactor tcsetwinsize to share common code and accept any two item sequence, with overflow checking.

Co-authored-by: Gregory P. Smith <greg@krypto.org> [Google]

bpo-45022: Pin current libffi build to fixed version in preparation for upcoming update (GH-27982)

Also improve the build script for libffi, which is not used as part of the regular build.

bpo-40635: Fix getfqdn() docstring and docs (GH-27971)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-45010: Remove support of special method __div__ in unittest.mock (GH-27965)

bpo-45001: Make email date parsing more robust against malformed input (GH-27946)

Various date parsing utilities in the email module, such as
email.utils.parsedate(), are supposed to gracefully handle invalid
input, typically by raising an appropriate exception or by returning
None.

The internal email._parseaddr._parsedate_tz() helper used by some of
these date parsing routines tries to be robust against malformed input,
but unfortunately it can still crash ungracefully when a non-empty but
whitespace-only input is passed. This manifests as an unexpected
IndexError.

In practice, this can happen when parsing an email with only a newline
inside a ‘Date:’ header, which unfortunately happens occasionally in the
real world.

Here's a minimal example:

    $ python
    Python 3.9.6 (default, Jun 30 2021, 10:22:16)
    [GCC 11.1.0] on linux
    Type "help", "copyright", "credits" or "license" for more information.
    >>> import email.utils
    >>> email.utils.parsedate('foo')
    >>> email.utils.parsedate(' ')
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
      File "/usr/lib/python3.9/email/_parseaddr.py", line 176, in parsedate
        t = parsedate_tz(data)
      File "/usr/lib/python3.9/email/_parseaddr.py", line 50, in parsedate_tz
        res = _parsedate_tz(data)
      File "/usr/lib/python3.9/email/_parseaddr.py", line 72, in _parsedate_tz
        if data[0].endswith(',') or data[0].lower() in _daynames:
    IndexError: list index out of range

The fix is rather straight-forward: guard against empty lists, after
splitting on whitespace, but before accessing the first element.

bpo-45011: Fix test_asyncio without C module _asyncio (GH-27968)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-44967: pydoc: return non-zero exit code when query is not found (GH-27868)