bpo-44131: Test Py_FrozenMain() (GH-26126)

* Add test_frozenmain to test_embed
* Add Programs/test_frozenmain.py
* Add Programs/freeze_test_frozenmain.py
* Add Programs/test_frozenmain.h
* Add make regen-test-frozenmain
* Add test_frozenmain command to Programs/_testembed
* _testembed.c: add error(msg) function

bpo-43650: Fix MemoryError on zip.read in shutil._unpack_zipfile for large files (GH-25058)

`shutil.unpack_archive()` tries to read the whole file into memory, making no use of any kind of smaller buffer. Process crashes for really large files: I.e. archive: ~1.7G, unpacked: ~10G. Before the crash it can easily take away all available RAM on smaller systems. Had to pull the code form `zipfile.Zipfile.extractall()` to fix this

Automerge-Triggered-By: GH:gpshead

bpo-33433 Fix private address checking for IPv4 mapped IPv6. (GH-26172)

For IPv4 mapped IPv6 addresses, defer privacy check to the mapped IPv4 address. Solves bug where public mapped IPv4 addresses are considered private by the IPv6 check.

Automerge-Triggered-By: GH:gpshead

bpo-44145: Release the GIL around HMAC_Update. (GH-26157)

It was always meant to be released for parallelization.
This now matches the other similar code in the module.

Thanks michaelforney for noticing!

bpo-44154: optimize Fraction pickling (GH-26186)

Apply edits from Allen Downey's review of the linear_regression docs. (GH-26176)

[doc] Fix typo in os module (GH-24464)

Automerge-Triggered-By: GH:iritkatriel

Fix a typo/error in a news entry (bidst_wheel -> bdist_wheel) (GH-24284)

This error was fixed recently in `Doc/whatsnew/3.10.rst`.

Automerge-Triggered-By: GH:iritkatriel

fix docstring typo in bdb.py (GH-22323)

Remove a redundant assignment in Tools/unittestgui/unittestgui.py (GH-21438)

Fix typo in comment (GH-26162)

bpo-44142: drop redundant parantheses when unparsing tuples as assignment targets (GH-26156)

bpo-39950: Fix deprecation warning in test for `pathlib.Path.link_to()` (GH-26155)

Improve speed and accuracy for correlation() (GH-26135)

bpo-44143: Fix crash in the parser when raising tokenizer errors with an exception set (GH-26144)

bpo-32133: Improve numbers docs (GH-26124)

bpo-44139: Use a more descriptive syntax error comprehension case in the What's New for 3.10 (GH-26145)

bpo-26110: Add ``CALL_METHOD_KW`` opcode to speedup method calls with keywords (GH-26014)

* Add CALL_METHOD_KW

* Make CALL_METHOD branchless too since it shares the same code

* Place parentheses in STACK_SHRINK

bpo-44081: improve ast.unparse() for lambdas with no parameters (GH-26000)

bpo-44072: fix Complex, Integral docs for `**` (GH-25986)

In numbers module docstrings and docs.

bpo-37788: Fix reference leak when Thread is never joined (GH-26103)

When a Thread is not joined after it has stopped, its lock may remain in the _shutdown_locks set until interpreter shutdown.  If many threads are created this way, the _shutdown_locks set could therefore grow endlessly.  To avoid such a situation, purge expired locks each time a new one is added or removed.

bpo-43729: Clarify comment in tutorial example (GH-25191)

bpo-44095: Add suffix, stem and suffixes to zipfile.Path (GH-26129)

Subprocess Protocols Documentation (GH-20950)

Should be "Subprocess Protocol instances" not "Datagram Protocol instances"

[doc] Fix typos in cgi.rst (#24766)

sqlite3 test suite now works with SQLITE_DQS=0 (GH-26032)

Doc: Fix ambiguous pronoun (GH-26037)

Updated code example for asyncio.gather (GH-20604)

The previous example did not fully showcase the interest of using gather.

Here the example showcases "the result is an aggregate list of returned values".

bpo-38250: add version added for FlagBoundary (GH-25820)

* bpo-38250: add version added for FlagBoundary

* Also add versionadded for utilities

Co-authored-by: hauntsaninja <>

Update doc as relative import can be used with star import (GH-25667)

bpo-43977: Update pattern matching language reference docs (GH-25917)

* Update patma language reference with new changes to sequence and mapping

* update 3.10 whatsnew too

Reword paragraph on specific value for Py_LIMITED_API (GH-26101)

bpo-43908: Add What's New entry for Py_TPFLAGS_IMMUTABLETYPE flag (GH-25816)

bpo-28146: Fix a confusing error message in str.format() (GH-24213)

Automerge-Triggered-By: GH:pitrou

bpo-44094: Remove deprecated PyErr_ APIs. (GH-26011)

These APIs are deprecated since Python 3.3. They are not documented too.

bpo-44114: Remove redundant cast. (GH-26098)

bpo-44125: Fix "make patchcheck" on non-English locale (GH-26102)

The patch from [bpo-44074]() does not account for a possibly non-English locale and blindly greps for "HEAD branch" in a possibly localized text.

Automerge-Triggered-By: GH:pitrou

Fix typo in configure (GH-26078)

bpo-39906: Document new follow_symlinks argument to pathlib.Path.stat() and chmod() in 3.10 whatsnew. (GH-26089)

bpo-43757: Document os.path.realpath(strict=True) in 3.10 whatsnew. (GH-26090)

bpo-44114: Fix dictkeys_reversed and dictvalues_reversed function signatures (GH-26062)

These are passed and called as PyCFunction, however they are defined here without the (ignored) args parameter.

This works fine in some C compilers, but fails in webassembly or anything else that has strict function pointer call type checking.

bpo-44098: Drop ParamSpec from most ``__parameters__`` in typing generics (GH-26013)

Added two new attributes to ``_GenericAlias``:
* ``_typevar_types``, a single type or tuple of types indicating what types are treated as a ``TypeVar``. Used for ``isinstance`` checks.
* ``_paramspec_tvars ``, a boolean flag which guards special behavior for dealing with ``ParamSpec``. Setting it to ``True`` means this  class deals with ``ParamSpec``.

Automerge-Triggered-By: GH:gvanrossum

bpo-44113: Update fromzenmain not to use Py_SetProgramName (GH-26085)

bpo-44113: Fix compiler warning in PySys_AddWarnOption() (GH-26084)

Ignore Py_DEPRECATED() warning on purpose.

bpo-44030: Fix formatting error in exceptions docs (GH-25929)

bpo-44113: Update __xxtestfuzz not to use Py_SetProgramName (GH-26083)

bpo-44113: Deprecate old functions to config Python init (GH-26060)

Deprecate the following functions to configure the Python
initialization:

* PySys_AddWarnOption()
* PySys_AddWarnOptionUnicode()
* PySys_AddXOption()
* PySys_HasWarnOptions()
* Py_SetPath()
* Py_SetProgramName()
* Py_SetPythonHome()
* Py_SetStandardStreamEncoding()
* _Py_SetProgramFullPath()

Use the new PyConfig API of the Python Initialization Configuration
instead (PEP 587).

bpo-40645: Fix ref leaks in _hashopenssl (GH-26079)

bpo-44116: Add GC support to _csv heap types (GH-26074)

bpo-44117: Add C API section to What's New in Python 3.11 (GH-26071)

Add also references to PyFrame_BlockPop() removal.

bpo-40645: Fix reference leak in the _hashopenssl extension (GH-26072)

The `PyModule_AddObjectRef` function doesn't steal a reference, so an extra `Py_DECREF` is needed.

Automerge-Triggered-By: GH:tiran

bpo-38908: Fix issue when non runtime_protocol failed to raise TypeError (#26067)

Use get_binascii_state instead of PyModule_GetState (GH-26069)

bpo-44089: Allow subclassing of ``csv.Error`` (GH-26008)

* fix subclass error

* Update 2021-05-09-22-52-34.bpo-44089.IoANsN.rst

bpo-25479: add unit test for __subclasshook__ in test_abc.py (GH-24034)

Co-authored-by: Szymon Trapp

Remove PyTryblock struct (GH-26059)

bpo-40222: Mention zero-cost exceptions in whats-new for 3.11 (GH-26021)

bpo-43933: Force RETURN_VALUE bytecodes to have line numbers (GH-26054)

bpo-40640: doc -- add missing ... in example of Continue (#26055)

Co-authored-by: Chas Belov <59780179+ChasBelov@users.noreply.github.com>

bpo-44002: Switch to lru_cache in urllib.parse. (GH-25798)

Switch to lru_cache in urllib.parse.

urllib.parse now uses functool.lru_cache for its internal URL splitting and
quoting caches instead of rolling its own like its the 90s.

The undocumented internal Quoted class API is now deprecated
as it had no reason to be public and no existing OSS users were found.

The clear_cache() API remains undocumented but gets an explicit test as it
is used in a few projects' (twisted, gevent) tests as well as our own regrtest.

bpo-44061: Fix pkgutil.iter_modules regression when passed a pathlib.Path object (GH-25964)

bpo-28528: Fix pdb.checkline() attribute error when 'curframe' is None. (#25438)

Co-authored-by: Thomas Kluyver <takowl@gmail.com>

 Correct the changelog entry for the syntax error message for multiple exception types (GH-26038)

Fix import of HTTPError (GH-22304)

Import HTTPError from urllib.error instead of urllib.request.

bpo-10548: expectedFailure does not apply to fixtures (#23201)

bpo-23750: Document os-system, subprocess. Patch by Martin Panter. (GH-26016)

* Document os-system, subprocess Patch

* Update Doc/library/os.rst

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-25821: Fix inaccuracy in threading.enumerate/is_alive documentation (#23192)

bpo-43795: PEP 652 user documentation (GH-25668)

- Reformat the C API and ABI Versioning page (and extend/clarify a bit)
- Rewrite the stable ABI docs into a general text on C API Compatibility
- Add a list of Limited API contents, and notes for the individual items.
- Replace `Include/README.rst` with a link to a devguide page with the same info

Doc: http.server: directory is not a class attribute, but an argument. (GH-26017)

* Doc: http.server: directory is not a class attribute, but an argument.

bpo-43743 add comment stating _USE_CP_SENDFILE should not be removed (#26024)

bpo-44074: let patchcheck infer the base branch name (GH-25991)

bpo-43558: Add note about base class initialization to dataclasses doc (GH-25967)

Prevent access outside buffer (GH-26012)

Revert test for Tix deprecation warning (GH-26005)

Added in bpo-41730 (GH-22186), the test apparently causes refleaks.  The
test isn't worth hunting them down, so it's simply reverted.

This partially reverts commit 4a2d98a1e98de25c5114d11fcb0f9fedbb057e51.

Fix a word in dataclasses docs. (GH-26003)

bpo-43417: Better buffer handling for ast.unparse (GH-24772)

bpo-28307: Convert simple C-style formatting with literal format into f-string. (GH-5012)

C-style formatting with literal format containing only format codes
%s, %r and %a (with optional width, precision and alignment)
will be converted to an equivalent f-string expression.

It can speed up formatting more than 2 times by eliminating
runtime parsing of the format string and creating temporary tuple.

bpo-43149: Correct the syntax error message for multiple exception types (GH-25996)

Automerge-Triggered-By: GH:pablogsal

Update references to master to point to main in customsourcelink.html (GH-25993)

bpo-42725: mention the changes on what's new (GH-25974)

bpo-31904: Correct error string in test_file_not_exists() for VxWorks (GH-25965)

The error string on VxWorks is "no such file or directory" for FileNotFoundError. That is, the 1st letter of the error string has lower case.

Fix make libainstall. (GH-25980)

Initial patch by Benno Leslie.

Fix the whatsnew/3.11.rst to link to the blurb-generated changelog. (GH-25979)

Update the SOURCE_URI in pyspecific.py to point to the new branch (GH-25977)

Add the blurbify of the 3.10.0b1 changelog to the main branch (GH-25976)

Do not use Py_ssize_clean_t (GH-25940)

bpo-44026: Idle - display interpreter's 'did you mean' hints (GH-25912)

A C function accessible by the default exception handler, but not by python code,
finds the existing name closest to the name causing a name or attribute error.  For
such errors, call the default handler after capturing stderr and retrieve its message line.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-44063: set the missing end locations on the compiler (GH-25956)

bpo-41730: Show deprecation warnings for tkinter.tix (GH-22186)

Co-authored-by: E-Paine <63801254+E-Paine@users.noreply.github.com>
Co-authored-by: Zachary Ware <zach@python.org>

bpo-40222: "Zero cost" exception handling (GH-25729)

"Zero cost" exception handling.

* Uses a lookup table to determine how to handle exceptions.
* Removes SETUP_FINALLY and POP_TOP block instructions, eliminating (most of) the runtime overhead of try statements.
* Reduces the size of the frame object by about 60%.

Simple Enhancement. Add missing return statements in ftplib documentation. (GH-25968)

bpo-44047: Remove unused argument to _pysqlite_seterror (GH-25915)

Doc: What's new in Python 3.11 (GH-25963)

bpo-44029: Remove Py_UNICODE APIs (GH-25881)

Remove deprecated `Py_UNICODE` APIs: `PyUnicode_Encode`,
`PyUnicode_EncodeUTF7`, `PyUnicode_EncodeUTF8`,
`PyUnicode_EncodeUTF16`, `PyUnicode_EncodeUTF32`,
`PyUnicode_EncodeLatin1`, `PyUnicode_EncodeMBCS`,
`PyUnicode_EncodeDecimal`, `PyUnicode_EncodeRawUnicodeEscape`,
`PyUnicode_EncodeCharmap`, `PyUnicode_EncodeUnicodeEscape`,
`PyUnicode_TransformDecimalToASCII`, `PyUnicode_TranslateCharmap`,
`PyUnicodeEncodeError_Create`, `PyUnicodeTranslateError_Create`.

See :pep:`393` and :pep:`624` for reference.

bpo-40943: Fix skipitem() didn't raise SystemError (GH-25937)

`convertitem()` raises `SystemError` when '#' is used without `PY_SSIZE_T_CLEAN`.
This commit makes `skipitem()` raise it too.

Fix minor grammar problems in dataclasses documentation (GH-25948)

Some missing words; some odd word choices.

docs: clearly document that ":#X" string formatting results in "0X..." (GH-25941)

* clearly document that ":#X" string formatting results in "0X..."

* put back the "serial comma"

bpo-43972: Set content-length to 0 for http.server.SimpleHTTPRequestHandler 301s (GH-25705)

* Set content-length for simple http server 301s

When http.server.SimpleHTTPRequestHandler sends a 301 (Moved
Permanently) due to a missing file, it does not set a Content-Length
of 0. Unfortunately, certain clients can be left waiting for the
connection to be closed in this circumstance, even though no body
will be sent. At time of writing, both curl and Firefox demonstrate
this behavior.

* Test Content-Length on simple http server redirect

When serving a redirect, the SimpleHTTPRequestHandler will now send
`Content-Length: 0`. Several tests for http.server already cover
various behaviors and checks including redirection. This change only
adds one check for the expected Content-Length on the simplest case
for a redirect.

* Add news entry for SimpleHTTPRequestHandler fix

* Clarify the specific kind of 301

Co-authored-by: Senthil Kumaran <skumaran@gatech.edu>

bpo-44059: Register the SerenityOS Browser in the webbrowser module (GH-25947)

Automerge-Triggered-By: GH:gpshead

Eliminate duplicated calculations and unnecessary work for linear regression (GH-25922)