bpo-46494: Mention the typing_extensions pkg in typing docs (GH-31260)

(cherry picked from commit 8debeed3075bf4d7e568e65da16bec63cf276f4f)

Co-authored-by: Meer Suri <46469858+meersuri@users.noreply.github.com>

bpo-45680: Improve docs on subscriptions w.r.t. `GenericAlias` objects (GH-29479)

(cherry picked from commit 50731297a9b6d57eec3b3f89522785b23f7b3e71)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

bpo-46932: Update bundled libexpat to 2.4.7 (GH-31736)

(cherry picked from commit 176835c3d5c70f4c1b152cc2062b549144e37094)

Co-authored-by: Steve Dower <steve.dower@python.org>

bpo-44549: Update bzip2 to 1.0.8 in Windows builds to mitigate CVE-2016-3189 and CVE-2019-12900 (GH-31732)

bpo-46948: Fix CVE-2022-26488 by ensuring the Windows Installer correctly uses the install path during repair (GH-31728)

[3.9] bpo-43292: Fix file leak in `ET.iterparse()` when not exhausted (GH-31696) (GH-31720)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
(cherry picked from commit 496c428de3318c9c5770937491b71dc3d3f18a6a)

Co-authored-by: Jacob Walls <jacobtylerwalls@gmail.com>

Lib/typing.py copy edits originating from GH-31061 (GH-31684)

(cherry picked from commit 2031149b9a7dfab5f5bad63f417e19f4fc2b9661)

Co-authored-by: Matt Bogosian <eb3f73+github+com@yaymail.com>

bpo-25415: Remove confusing sentence from IOBase docstrings (PR-31631)

(cherry picked from commit cedd2473a9bebe07f3ced4f341cf58a2fef07b03)

Co-authored-by: slateny <46876382+slateny@users.noreply.github.com>

bpo-46913: Fix test_ctypes, test_hashlib, test_faulthandler on UBSan (GH-31675) (GH-31676)

* bpo-46913: Fix test_faulthandler.test_sigfpe() on UBSAN (GH-31662)

Disable undefined behavior sanitizer (UBSAN) on
faulthandler_sigfpe().

(cherry picked from commit 4173d677a1d7c72bb32d292fbff1b4cf073d615c)

* bpo-46913: Fix test_faulthandler.test_read_null() on UBSan (GH31672)

Disable undefined behavior sanitizer (UBSan) on
faulthandler._read_null().

(cherry picked from commit 65b92ccdec2ee4a99e54aaf7ae2d9bbc2ebfe549)

* bpo-46913: test_hashlib skips _sha3 tests on UBSan (GH-31673)

If Python is built with UBSan, test_hashlib skips tests on the _sha3
extension which currently has undefined behaviors.

This change allows to run test_hashlib to check for new UBSan regression,
but the known _sha3 undefined behavior must be fixed.

(cherry picked from commit 6d0d7d2b8c1e04fd51c6cb29cc09a41b60b97b7b)

* bpo-46913: Skip test_ctypes.test_shorts() on UBSan (GH-31674)

If Python is built with UBSan, test_ctypes now skips test_shorts().
This change allows to run test_ctypes to check for new UBSan regression,
but the known test_shorts() undefined behavior must be fixed.

(cherry picked from commit ad1b04451d3aca2c6fa6dbe2891676a4e0baac49)
(cherry picked from commit 7b5b429adab4fe0fe81858fe3831f06adc2e2141)

bpo-6634: [doc] clarify that sys.exit() does not always exit the interpreter (GH-31639) (GH-31661)

(cherry picked from commit 10117f1d8cb49ce95493555c06050faf636ccee7)

Co-authored-by: vidhya <96202776+Vidhyavinu@users.noreply.github.com>
Co-authored-by: vidhya <96202776+Vidhyavinu@users.noreply.github.com>

bpo-46831: Update __build_class__ comment (GH-31522)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
(cherry picked from commit 81d968b7c30d5b41f3f28b297b7ee5345d569509)

Co-authored-by: Shantanu <12621235+hauntsaninja@users.noreply.github.com>

bpo-21910: Clarify docs for codecs writelines method (GH-31245)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
(cherry picked from commit a8c87a239ee1414d6dd0b062fe9ec3e5b0c50cb8)

Co-authored-by: slateny <46876382+slateny@users.noreply.github.com>

[3.10] bpo-46633: Skip tests on ASAN and/or MSAN builds (GH-31632) (GH-31634) (GH-31644)

* Refactor sanitiser skip tests into test.support (GH-30889)

* Refactor sanitizer skip tests into test.support

(cherry picked from commit b1cb8430504931f7854eac5d32cba74770078a4e)

* Add skips to crashing tests under sanitizers instead of manually skipping them (GH-30897)

(cherry picked from commit a27505345e34d462139f5f8b6b5e7c9a59955150)

* bpo-46633: Skip tests on ASAN and/or MSAN builds (GH-31632)

Skip tests on ASAN and/or MSAN builds:

* multiprocessing tests
* test___all__
* test_concurrent_futures
* test_decimal
* test_peg_generator
* test_tools

(cherry picked from commit 9204bb72a2da5885facc747e63d2bd2d654606fe)

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>
(cherry picked from commit 93264452d952d9ba604bacf2947c2df5dd477931)

[3.9] bpo-43853: Expand test suite for SQLite UDF's (GH-27642) (GH-31030) (GH-31586)

(cherry picked from commit 3eb3b4f270757f66c7fb6dcf5afa416ee1582a4b)

[3.9] Minor fixes to C API docs (GH-31501) (GH-31526)

* C API docs: move PyErr_SetImportErrorSubclass docs

It was in the section about warnings, but it makes more sense to
put it with PyErr_SetImportError.

* C API docs: document closeit argument to PyRun_AnyFileExFlags

It was already documented for PyRun_SimpleFileExFlags.

* textual fixes to unicode docs

* Move paragraph about tp_dealloc into tp_dealloc section

* __aiter__ returns an async iterator, not an awaitable.
(cherry picked from commit 43cf44ddcce6b225f959ea2a53e4817244ca6054)

bpo-26897: Clarify Popen stdin, stdout, stderr file object docs (GH-30231)

(cherry picked from commit dd69f734218ac5d3a551227069ac53ee09b0cd3e)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-46852: Rename float.__set_format__() to float.__setformat__() (GH-31558) (GH-31581)

Rename the private undocumented float.__set_format__() method to
float.__setformat__() to fix a typo introduced in Python 3.7. The
method is only used by test_float.

The change enables again test_float tests on the float format which
were previously skipped because of the typo.

The typo was introduced in Python 3.7 by bpo-20185
in commit b5c51d3dd95bbfde533655fb86ac0f96f771ba7b.

(cherry picked from commit 7d03c8be5af2f1559dbc35b775b3116dfd63cfb6)

bpo-46756: Fix authorization check in urllib.request (GH-31353)

Fix a bug in urllib.request.HTTPPasswordMgr.find_user_password() and
urllib.request.HTTPPasswordMgrWithPriorAuth.is_authenticated() which
allowed to bypass authorization. For example, access to URI "example.org/foobar"
was allowed if the user was authorized for URI "example.org/foo".
(cherry picked from commit e2e72567a1c94c548868f6ee5329363e6036057a)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-34429: Noted TemporaryFile behavior on non-Posix/non-Cygwin systems (GH-31547)

(cherry picked from commit 53ecf9e08d35801807daf74492c090a325f995b7)

Co-authored-by: slateny <46876382+slateny@users.noreply.github.com>

bpo-40421: Fix PyFrame_GetCode() documentation (GH-31535)

Fix PyFrame_GetBack() and PyFrame_GetCode() return type in
the documentation.
(cherry picked from commit 78859e58e4e016286e648d1dc155e0f6cebfa6ff)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-46794: Bump up the libexpat version into 2.4.6 (GH-31487)

(cherry picked from commit 1935e1cc284942bec8006287c939e295e1a7bf13)

Co-authored-by: Dong-hee Na <donghee.na@python.org>

Inherit asyncio proactor datagram transport from asyncio.DatagramTransport (GH-31512)

(cherry picked from commit cff4d5c5d29528299ec1ac5b3b3a6f7735577c01)

Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

bpo-46827: pass sock.type to getaddrinfo in sock_connect (GH-31499)

Co-authored-by: Thomas Grainger <tagrain@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>
(cherry picked from commit 8fb94893e4a870ed3533e80c4bc2f1ebf1cfa9e7)

Co-authored-by: Thomas Grainger <tagrain@gmail.com>

[3.9] bpo-20923 : [doc] Explain ConfigParser 'valid section name'  and .SECTCRE (GH-31413) (GH-31507)

(cherry picked from commit bba8008f99d615a02984422a3825082bb5621f5a)

Co-authored-by: vidhya <96202776+Vidhyavinu@users.noreply.github.com>
Automerge-Triggered-By: GH:iritkatriel

bpo-36557: Updated wording for using/windows (GH-31457)

(cherry picked from commit 9a0d941df4c3e1efb8b3017cd2c2de17e582fd5c)

Co-authored-by: slateny <46876382+slateny@users.noreply.github.com>

[3.9] bpo-46732: fix __bool__ docstring (GH-31301) (GH-31474)

(cherry picked from commit 0a222db2bca63070f429c0e613707da1bdfaf0e0)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-46811: Make test suite support Expat >=2.4.5 (GH-31453) (GH-31469)

Curly brackets were never allowed in namespace URIs
according to RFC 3986, and so-called namespace-validating
XML parsers have the right to reject them a invalid URIs.

libexpat >=2.4.5 has become strcter in that regard due to
related security issues; with ET.XML instantiating a
namespace-aware parser under the hood, this test has no
future in CPython.

References:
- https://datatracker.ietf.org/doc/html/rfc3968
- https://www.w3.org/TR/xml-names/

Also, test_minidom.py: Support Expat >=2.4.5
(cherry picked from commit 2cae93832f46b245847bdc252456ddf7742ef45e)

Co-authored-by: Sebastian Pipping <sebastian@pipping.org>
Co-authored-by: Sebastian Pipping <sebastian@pipping.org>

bpo-39327: Close file descriptors as soon as possible in shutil.rmtree (GH-31384)

It fixes the "Text File Busy" OSError when using 'rmtree' on a
windows-managed filesystem in via the VirtualBox shared folder
(and possible other scenarios like a windows-managed network file
system).
(cherry picked from commit b77158b4da449ec5b8f682816a79d004fd65ed07)

Co-authored-by: Lital Natan <litaln@gmail.com>

replace `self` param with more appropriate `cls` in classmethods (GH-31402) (#31445)

(cherry picked from commit a3fcca4af1cb418dc802feb75100ecc1a286afaa)

Co-authored-by: Josh Smith <cmyuiosu@gmail.com>
Co-authored-by: Josh Smith <cmyuiosu@gmail.com>

Improve discussion about how __getattr__ is invoked. (GH-31435) (GH-31438)

[3.9] Raise TypeError if SSLSocket is passed to asyncio transport-based methods (GH-31442) (GH-31444)

(cherry picked from commit 1f9d4c93af380d00bf2e24bc5f5ce662d41504aa)

Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

[3.9] bpo-46672: fix `NameError` in `asyncio.gather` if type check fails (GH-31187) (GH-31441)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

Counter doc mentions three methods, but lists four (GH-30706)

Was probably caused by the addition of the `total()` method
(cherry picked from commit 99331fcf175b03b6b82451ac9aa953b476ab48e0)

Co-authored-by: Charles Brunet <charles.brunet@optelgroup.com>

[docs] Correct typos in SSLContext.sni_callback (GH-30623)

Co-authored-by: Jörn Heissler <nosuchaddress@joern-heissler.de>
(cherry picked from commit f80a97b492f41afd3c42bb2bd6da7b2828dca215)

Co-authored-by: Jörn Heissler <joernheissler@users.noreply.github.com>

bpo-46784: Add newly exported expat symbols to the namespace. (GH-31397)

The libexpat 2.4.1 upgrade from  introduced the following new exported symbols:

* `testingAccountingGetCountBytesDirect`
* `testingAccountingGetCountBytesIndirect`
* `unsignedCharToPrintable`
* `XML_SetBillionLaughsAttackProtectionActivationThreshold`
* `XML_SetBillionLaughsAttackProtectionMaximumAmplification`

We need to adjust [Modules/expat/pyexpatns.h](https://github.com/python/cpython/blob/master/Modules/expat/pyexpatns.h)

(The newer libexpat upgrade  has no new symbols).

Automerge-Triggered-By: GH:gpshead
(cherry picked from commit 6312c1052c0186b4596fc45c42fd3ade9f8f5911)

Co-authored-by: Yilei "Dolee" Yang <yileiyang@google.com>

Fix mistake in barry_as_FLUFL test (GH-31392)

Use assertEqual(), not assertTrue(lineno, 2)
(cherry picked from commit 5f1c205dcec0adf68b76ba78247a0ec1fa9a7b66)

Co-authored-by: Patrick Reader <_@pxeger.com>

bpo-46400: Update libexpat from 2.4.1 to 2.4.4 (GH-31022) (GH-31295)

Update html.parser.rst (GH-30678)

This PR for the documentation of the [html.parser](https://docs.python.org/3/library/html.parser.html) module will

- fix a terminology mistake (‘start of a tag’ -> ‘start tag of an element’);
- mention the parameter names of the `HTMLParser.handle_*` methods where missing.
(cherry picked from commit 2945f5a7c51200bfc5c493ccb626fc414e1385b1)

Co-authored-by: Géry Ogam <gery.ogam@gmail.com>

[3.9] Become a CODEOWNER for typing (GH-31374) (GH-31381)

(cherry picked from commit 6f1efd19a70839d480e4b1fcd9fecd3a8725824b)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Automerge-Triggered-By: GH:JelleZijlstra

bpo-46333: Honor `module` parameter in ForwardRef (GH-30536)

The `module` parameter carries semantic information about the forward ref.
Forward refs are different if they refer to different module even if they
have the same name. This affects the `__eq__`, `__repr__` and `__hash__` methods.

Co-authored-by: Andreas Hangauer <andreas.hangauer@siemens.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
(cherry picked from commit 6e7b813195f9bd6a2a15c1f00ef2c0180f6c751a)

Co-authored-by: aha79 <34090357+aha79@users.noreply.github.com>

bpo-46762: Fix an assert failure in f-strings where > or < is the last character if the f-string is missing a trailing right brace. (GH-31365)

(cherry picked from commit ffd9f8ff84ed53c956b16d027f7d2926ea631051)

Co-authored-by: Eric V. Smith <ericvsmith@users.noreply.github.com>

bpo-46741: Update `asyncio.protocols.BufferedProtocol` docstring (31327)

The docstring for `BufferedProtocol` states that the class is still an "experimental API", but it has been considered stable since 3.8.
(cherry picked from commit 1d81fdc4c004511c25f74db0e04ddbbb8a04ce6d)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

[3.9] bpo-46728: fix docstring of combinations_with_replacement for consistency (GH-31293). (GH-31356)

Update the OMG link (GH-30383)

(cherry picked from commit 04215a427232e55efdc1adcda50a15197f518ca9)

Co-authored-by: David Gilbertson <gilbertson.david@gmail.com>

doc: use colon for all color's rangs (GH-28998)

(cherry picked from commit 6b9f27dd0b5da53b1fd648494879d857572bec80)

Co-authored-by: Rafael Fontenelle <rffontenelle@users.noreply.github.com>

bpo-46436: Fix command-line option -d/--directory in module http.server (GH-30701)

Fix command-line option -d/--directory in http.server main
function that was ignored when combined with --cgi.

Automerge-Triggered-By: GH:merwok
(cherry picked from commit 2d080347d74078a55c47715d232d1ab8dc8cd603)

Co-authored-by: Géry Ogam <gery.ogam@gmail.com>
Co-authored-by: Géry Ogam <gery.ogam@gmail.com>

bpo-38619: Update the documentation for UUID.hex (GH-29830)

Explicitly state that it is lowercase.

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
(cherry picked from commit 5d53cf30f9cb3758849e859db5d4602cb7c521f7)

Co-authored-by: 180909 <wjh180909@gmail.com>

Fix minor grammar error (GH-31325)

"an" followed by consonant should be "a"
(cherry picked from commit 0d29e7a06f98e8312b699d4531d27b76add1249f)

Co-authored-by: Scott Noyes <snoyes@gmail.com>

[3.9] Corrections to format precision description. (GH-31291) (GH-31321)

* `precision` field is a decimal integer
  * clarify that stated limitations are on presentation type
    rather than input value type.  Especially misleading is
    "precision is not allowed for integer values", since integer
    value input to a format like `.1f` is fine.
  * regarding max field size, replace "non-number" with "string",
    which is the only non-numeric presentation type

Automerge-Triggered-By: GH:ericvsmith.
(cherry picked from commit 1d6ce67c29aa2166ef326952cb605b908fb4f987)

Co-authored-by: John Belmonte <john@neggie.net>

bpo-46615: Don't crash when set operations mutate the sets (GH-31120) (GH-31312)

Ensure strong references are acquired whenever using `set_next()`. Added randomized test cases for `__eq__` methods that sometimes mutate sets when called.

(cherry picked from commit 4a66615ba736f84eadf9456bfd5d32a94cccf117)

bpo-45447: Add entry to What's new 3.9 (GH-31305)

(cherry picked from commit cef91ca80c41749824eca1d4b2c99731e3d5f64c)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-45447: Add syntax highlighting for `.pyi` files in IDLE (GH-28950)

Also add .pyi to the python extensions in the "File-open" and "File-save" dialogues.
Add util.py to contain objects that are used in multiple idlelib modules
and have no dependencies on any of them.

Co-authored-by: E-Paine <63801254+E-Paine@users.noreply.github.com>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
(cherry picked from commit 50cf4991c49e19f917305dd7b9c71085c11edddb)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
(cherry picked from commit 9fabcfbe68ff81ef5f17f86a93daf9cce9d83876)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

[3.9] bpo-45948: Remove constructor discrepancy in C version of ElementTree.XMLParser (GH-31152) (GH-31299)

Both implementations accept target=None now.

(cherry picked from commit 168fd6453b5de15236116f9261d64601d92571ac)

bpo-46483: [doc] pathlib classes no longer support parameterized generics (GH-31281)

Remove pathlib classes from the list in stdtypes.rst of classes
that can be parameterized at runtime.
(cherry picked from commit e0bc8ee945af96f9395659bbe3cc30b082e7a361)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Fix the signature of multiprocessing.set_executable (GH-31276)

Automerge-Triggered-By: GH:merwok
(cherry picked from commit 4f9386661d51b78348395e78710f3bfbee9fd1de)

Co-authored-by: Géry Ogam <gery.ogam@gmail.com>

[3.9] Fix warning: asyncio.events._event_loop_policy was modified by test_asyncio (GH-31253). (GH-31256)

(cherry picked from commit 012e77eb5c3ba3d411f5967a7f368ebdb42ab88c)

Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

bpo-45863: tarfile: don't zero out header fields unnecessarily (GH-29693)

Numeric fields of type float, notably mtime, can't be represented
exactly in the ustar header, so the pax header is used. But it is
helpful to set them to the nearest int (i.e. second rather than
nanosecond precision mtimes) in the ustar header as well, for the
benefit of unarchivers that don't understand the pax header.

Add test for tarfile.TarInfo.create_pax_header to confirm correct
behaviour.
(cherry picked from commit bf2d44ffb06e8f49aacc6b1c140a6717df5cf897)

Co-authored-by: Joshua Root <jmr@macports.org>

bpo-46685: cover `TypeError` of `ForwardRef(1)` in `test_typing` (GH-31223)

(cherry picked from commit d2d1d49eaccaa83eb8873ba15f2fc9562143bc56)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

bpo-46638: Makes registry virtualisation setting stable when building MSIX packages (GH-31130)

(cherry picked from commit 3a5afc14e16370c1f4f72d43cb553298ad9a1fa4)

bpo-46648: Rewrite test_urllib2.test_issue16464() with a local HTTP server (GH-31186)

Re-enable test_issue16464() of test_urllib2, move it to urllib2_localnet
and use the local HTTP server rather than an external HTTP server.
(cherry picked from commit 8e98175a03fe03d62822d96007a74e5273013764)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

bpo-40479: Fix undefined behavior in Modules/_hashopenssl.c (GH-31153)

va_end() must be called before returning.
(cherry picked from commit 59e004af63742361b67d1e1ae70229ff0db1059d)

Co-authored-by: Zackery Spytz <zspytz@gmail.com>

bpo-46648: Skip test_urllib2.test_issue16464() (GH-31161)

POST requests to http://www.example.com/ fail randomly.
(cherry picked from commit 1578de2fcd685c71f9c84e09bac32901dea192c1)

Co-authored-by: Victor Stinner <vstinner@python.org>

[3.9] bpo-46609: Update asyncio-task coroutine doc (GH-31132)

@coroutine in removed in 3.11, not 3.10.
(cherry picked from commit 5603db43ba7ba5568b7516d0e28730a2bc1e1f26)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-46629: Update classicAppCompat.sccd for new signing certificate (GH-31111)

(cherry picked from commit 9b4e3d94a5746af093392ed8e977b26fcc1bfd11)

Co-authored-by: Steve Dower <steve.dower@python.org>

Optimize images by IMGbot (GH-21348)

Co-authored-by: ImgBotApp <ImgBotHelp@gmail.com>
(cherry picked from commit ba650af7d660084e08859dd1ee1917cccee24e88)

Co-authored-by: Manish Kumar ⛄ <manishprivet@protonmail.com>

bpo-46588: fix typo in test_calltip.py  (GH-31119)

(cherry picked from commit 222865daabfa7a8b12ca9a5e9c23b9ce217448f1)

Co-authored-by: Caio Agiani <agianicaio@gmail.com>

bpo-46630: Fix initial focus of IDLE query dialogs (GH-31112)

On Windows, one had to Tab or click on the entry box
to get a cursor and be able to enter anything.
(cherry picked from commit d1df81a730499cc6286d02afa6028a1e9c22bbbf)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-45975: IDLE - Remove extraneous parens (GH-31107)

mistakenly included in 3 files in previous PR
and backported both to 3.10 and 3.9.
(cherry picked from commit 916d0d822c79933f4c420f7a36f16f3eb788646b)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

[3.9] [3.10] bpo-46576: bpo-46524: Disable compiler optimization within test_peg_generator. (GH-31015) (GH-31089) (GH-31093)

Disable compiler optimization within test_peg_generator.

This speed up test_peg_generator by always disabling compiler
optimizations by using -O0 or equivalent when the test is building its
own C extensions.

A build not using --with-pydebug in order to speed up test execution
winds up with this test taking a very long time as it would do
repeated compilation of parser C code using the same optimization
flags as CPython was built with.

This speeds the test up 6-8x on gps-raspbian.

Also incorporate's GH-31017's win32 conditional and flags.

Co-authored-by: Kumar Aditya kumaraditya303.
(cherry picked from commit 164a017e13ee96bd1ea1ae79f5ac9e25fe83994e)

Co-authored-by: Gregory P. Smith <greg@krypto.org>
(cherry picked from commit f5ebec4d3e1199ec38b88920cfde8e460e5120dd)

Co-authored-by: Gregory P. Smith <greg@krypto.org>
Automerge-Triggered-By: GH:gpshead

[3.9] bpo-45975: Use walrus operator for some idlelib while loops (GH-31083)

co-authored by Nick Drozd
cherrypicked from 51a95be1d035a717ab29e98056b8831a98e61125

bpo-46616: Ensures test_importlib.test_windows cleans up registry keys after completion (GH-31086)

(cherry picked from commit 89a0a90c2e0e685bc70206fc45e4413c4f4411ed)

Co-authored-by: Steve Dower <steve.dower@python.org>

[3.9] bpo-45703: Invalidate _NamespacePath cache on importlib.invalidate_cache (GH-29384) (GH-30922) (GH-31076)

Consider the following directory structure:

    .
    └── PATH1
        └── namespace
            └── sub1
                └── __init__.py

And both PATH1 and PATH2 in sys path:

    $ PYTHONPATH=PATH1:PATH2 python3.11
    >>> import namespace
    >>> import namespace.sub1
    >>> namespace.__path__
    _NamespacePath(['.../PATH1/namespace'])
    >>> ...

While this interpreter still runs, PATH2/namespace/sub2 is created:

    .
    ├── PATH1
    │   └── namespace
    │       └── sub1
    │           └── __init__.py
    └── PATH2
        └── namespace
            └── sub2
                └── __init__.py

The newly created module cannot be imported:

    >>> ...
    >>> namespace.__path__
    _NamespacePath(['.../PATH1/namespace'])
    >>> import namespace.sub2
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    ModuleNotFoundError: No module named 'namespace.sub2'

Calling importlib.invalidate_caches() now newly allows to import it:

    >>> import importlib
    >>> importlib.invalidate_caches()
    >>> namespace.__path__
    _NamespacePath(['.../PATH1/namespace'])
    >>> import namespace.sub2
    >>> namespace.__path__
    _NamespacePath(['.../PATH1/namespace', '.../PATH2/namespace'])

This was not previously possible.

Co-Authored-By: Miro Hrončok <miro@hroncok.cz>
Automerge-Triggered-By: GH:encukou

bpo-44359: Fix test_ftplib unhandled thread exceptions (GH-31069)

test_ftplib now silently ignores socket errors to prevent logging
unhandled threading exceptions.
(cherry picked from commit 0611eafc709cbe8a2a0bdde082d25df0c5034de7)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-46591: Make About IDLE doc link label clickable (GH-30251)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
(cherry picked from commit 53c78080573b3bae4c4e782b9f47dce48aac9688)

Co-authored-by: Wes <5124946+wesinator@users.noreply.github.com>

bpo-46487: Add `get_write_buffer_limits` to Write and _SSLProtocol transports (GH-30958)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
(cherry picked from commit 64568acbd88a88d54ac9b8215447f88280448dd5)

Co-authored-by: Emiya <importz750@gmail.com>

bpo-45925: Update macOS installer to SQLite 3.37.2 (GH-30921) (GH-31057) (GH-31059)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>
(cherry picked from commit 519eb6ad74f946a9aa7676e2d6579a3a765a8b50)

[3.9] bpo-46584: remove check for `py2.3` from `ctypes/test_python_api` (GH-31024) (GH-31053)

(cherry picked from commit 913e340a323c7e61ae6e4acbb1312b4342657bec)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

[3.9] bpo-44031: fix test_tabnanny failure in non-ascii CWD (GH-31014) (GH-31048)

(cherry picked from commit 108e66b6d23efd0fc2966163ead9434b328c5f17)

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>
Automerge-Triggered-By: GH:iritkatriel

[3.9] bpo-46482: add a test for `typing.Annotation.__new__` (GH-30821) (GH-31045)

(cherry picked from commit 4c0612ad00ba45dbea2a86f7db6d21546cf243f8)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>
Automerge-Triggered-By: GH:Fidget-Spinner

bpo-46542: test_lib2to3 uses support.infinite_recursion() (GH-31035)

* bpo-46542: test_lib2to3 uses support.infinite_recursion()

Fix a Python crash in test_lib2to3 when using Python built in debug
mode: limit the recursion limit.

The test_all_project_files() test of test_lib2to3 now uses the
test.support.infinite_recursion() context manager when processing the
infinite_recursion.py file to prevent a crash when Python is built in
debug mode.

The two test_all_project_files() tests now use subTest() and log the
refactored/parsed filename (if test_lib2to3 is run in verbose mode).

* Update Lib/lib2to3/tests/data/infinite_recursion.py

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
(cherry picked from commit ee0ac328d38a86f7907598c94cb88a97635b32f8)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-45925: Update Windows installer to SQLite 3.37.2 (GH-30485)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
(cherry picked from commit 4d191fcde426ca0643d961aa18e787103f05fce2)

Co-authored-by: Steve Dower <steve.dower@python.org>

bpo-46530: add `"thread_time"` to `test_time.test_get_clock_info` (GH-30913)

(cherry picked from commit c27a33132be101e246ae2584f1826477357138d6)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

bpo-46542: test_json uses support.infinite_recursion() (GH-30972)

Fix test_json tests checking for RecursionError: modify these tests
to use support.infinite_recursion().
(cherry picked from commit e7a6285f1be18992191599792524d3aa6aedfa55)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-29844: Remove obsolete paragraph from Tools/msi/README.txt (GH-29141)

(cherry picked from commit 098a33f6a60ca2df88e03024ac9d8da507cfa5c8)

bpo-46539: Pass status of special typeforms to forward references (GH-30926)

Previously this didn't matter because there weren't any valid code paths
that could trigger a type check with a special form, but after the bug
fix for `Annotated` wrapping special forms it's now possible to annotate
something like `Annotated['ClassVar[int]', (3, 4)]`. This change would
also be needed for proposed future changes, such as allowing `ClassVar`
and `Final` to nest each other in dataclasses.
(cherry picked from commit ced50051bb752a7c1e616f4b0c001f37f0354f32)

Co-authored-by: Gregory Beauregard <greg@greg.red>

bpo-44734: Fix floating point precision in test_turtle (GH-30910)

(cherry picked from commit aa78287bc6d1c4fc07ee134642eb72db67b771a0)

Co-authored-by: Karolina Surma <33810531+befeleme@users.noreply.github.com>

bpo-23556: [doc] Fix inaccuracy in documentation for raise without args. Improve tests for context in nested except handlers.  (GH-29236)

(cherry picked from commit 08c0ed2d9c0d01ad1a5adc0787bc75e4e90cbb85)

Co-authored-by: Kinshuk Dua <kinshukdua@gmail.com>

bpo-46496: news39 for bpo45296 (#30949)

(cherry picked from commit 9f0881476e0113d3a35e0ffa96649b9276dd75c5)

bpo-45296: Clarify close, quit, and exit in IDLE (GH-30936)

In the File menu, 'Close' and 'Exit' are now 'Close Window' (the current
one) and 'Exit' is now 'Exit IDLE' (by closing all windows).
In Shell, 'quit()' and 'exit()' mean 'close Shell'.
If there are no other windows, this also exits IDLE.
(cherry picked from commit fcde0bc10ddd836b62d0a8e893d80b8c55e0ba3f)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

[3.9] bpo-46502: Remove "How do I tell incomplete input" from FAQ (GH-30925) (GH-30934)

Since,

- Py_CompileString no longer allows to distinguish "incomplete input"
  from "invalid input"
- there is no alternative solution available from the Python C API
  due to how the new parser works (rewritten in 3.9)
- the only supported way is to manually import the codeop module from C
  and use its API as IDLE does, and accept its own complications

it is desirable to remove this Q&A from the official FAQ..
(cherry picked from commit f0a648152f2d8011f47cc49873438ebaf01d3f82)

Co-authored-by: Mateusz Łoskot <mateusz@loskot.net>
Co-authored-by: Mateusz Łoskot <mateusz@loskot.net>

bpo-38472: setup.py uses LC_ALL=C to check the C compiler (GH-30929)

Fix GCC detection in setup.py when cross-compiling. The C compiler is
now run with LC_ALL=C. Previously, the detection failed with a German
locale.
(cherry picked from commit a9503ac39474a9cb1b1935ddf159c0d9672b04b6)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-43698: do not use `...` as argument name in docs (GH-30502)

(cherry picked from commit b9d8980d89bfaa4bf16d60f0488adcc9d2cbf5ef)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

[3.9] bpo-46513: Remove AC_C_CHAR_UNSIGNED / __CHAR_UNSIGNED__ (GH-30851) (GH-30915)

Co-authored-by: Christian Heimes <christian@python.org>

bpo-46529: increase coverage of `typing.Union.__repr__` method (GH-30911)

(cherry picked from commit d0c690b5f85c679de6059cf353fe0524e905530e)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

bpo-41844: Update IDLE part of What's New 3.9 to 20228 (GH-30905)

(cherry picked from commit 7cf285d82ec722d4225297366013e924805171f2)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-41682: fixed flaky test test_sendfile_close_peer_in_the_middle_of_receiving (GH-30845) (#30861)

(cherry picked from commit 1c705fda8f9902906edd26d46acb0433b0b098e1)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-46491: Allow Annotated on outside of Final/ClassVar (GH-30864)

We treat Annotated type arg as class-level annotation. This exempts it from checks against Final and ClassVar in order to allow using them in any nesting order.

Automerge-Triggered-By: GH:gvanrossum
(cherry picked from commit e1abffca45b60729c460e3e2ad50c8c1946cfd4e)

Co-authored-by: Gregory Beauregard <greg@greg.red>

[3.9] bpo-46496: Update IDLE News to 2021 Jan 24 (GH-30877)

Cherry picked from b1a3446f077b7d56b89f55d98dadb8018986a3e

bpo-41841: update idlelib News up to 3.10.0 (GH-30871)

bpo-46503: Prevent an assert from firing when parsing some invalid \N sequences in f-strings. (GH-30865) (30867)

* bpo-46503: Prevent an assert from firing.  Also fix one nearby tiny PEP-7 nit.

* Added blurb.
(cherry picked from commit 0daf72194bd4e31de7f12020685bb39a14d6f45e)

Co-authored-by: Eric V. Smith <ericvsmith@users.noreply.github.com>
Co-authored-by: Eric V. Smith <ericvsmith@users.noreply.github.com>