bpo-38912: regrtest logs unraisable exception into sys.__stderr__ (GH-21718)

regrtest_unraisable_hook() temporarily replaces sys.stderr with
sys.__stderr__ to help to display errors when a test captures stderr.

bpo-40275: Use new test.support helper submodules in tests (GH-21448)

bpo-40275: Use new test.support helper submodules in tests (GH-21451)

bpo-40275: Use new test.support helper submodules in tests (GH-21449)

A (very) slight speed improvement for iterating over bytes (#21705)

My mentee @xvxvxvxvxv noticed that iterating over array.array is
slightly faster than iterating over bytes.  Looking at the source I
observed that arrayiter_next() calls `getitem(ao, it->index++)` wheras
striter_next() uses the idiom (paraphrased)

    item = PyLong_FromLong(seq->ob_sval[it->it_index]);
    if (item != NULL)
        ++it->it_next;
    return item;

I'm not 100% sure but I think that the second version has fewer
opportunity for the CPU to overlap the `index++` operation with the
rest of the code (which in both cases involves a call).  So here I am
optimistically incrementing the index -- if the PyLong_FromLong() call
fails, this will leave the iterator pointing at the next byte, but
honestly I doubt that anyone would seriously consider resuming use of
the iterator after that kind of failure (it would have to be a
MemoryError).  And the author of arrayiter_next() made the same
consideration (or never ever gave it a thought :-).

With this, a loop like

    for _ in b: pass

is now slightly *faster* than the same thing over an equivalent array,
rather than slightly *slower* (in both cases a few percent).

bpo-41425: Make tkinter doc example runnable (GH-21706)

Co-authored-by: Ankit Chandawala <achandaw@amazon.com>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-41424: Remove extra words in Tkinter-Packer documentation (GH-21707)

bpo-40979: refactored typing.rst; (mostly) same content, new sub-sections and ordering (#21574)

Also added PEP 585 deprecation notes.

random module: Convert a "while 1" to "while True (GH-21700)

bpo-41421: Algebraic simplification for random.paretovariate() (GH-21695)

bpo-40360: Handle PendingDeprecationWarning in test_lib2to3. (GH-21694)

bpo-41323: Perform 'peephole' optimizations directly on the CFG. (GH-21517)

* Move 'peephole' optimizations into compile.c and perform them directly on the CFG.

bpo-41426 Fix grammar in curses.getmouse() documentation (GH-21677)

Automerge-Triggered-By: @brettcannon

closes bpo-38156: Always handle interrupts in PyOS_StdioReadline. (GH-21569)

This consolidates the handling of my_fgets return values, so that interrupts are always handled, even if they come after EOF.

 I believe PyOS_StdioReadline is still buggy in that I/O errors will not result in a proper Python exception being set. However, that is a separate issue.

Remove incorrect mention of method.__class__ in descriptor docs (GH-21665)

Fix `List_Append` description, list is extracted at TOS1[-i] (GH-21465)

bpo-41412 and bpo-40948: Windows installer updates (GH-21656)

Prevent installation on Windows 8 and earlier.
Download UCRT on demand when required (non-updated Windows 8.1 only)
Add reference to py launcher to post-install message

bpo-41328: Replace mention of Hudson CI with Travis CI and AppVeyor (GH-21653)

bpo-35328: Set VIRTUAL_ENV_PROMPT at venv activation (GH-21587)

Co-Authored-By: Baptiste Darthenay <baptiste.darthenay@gmail.com>

Validate the AST produced by the parser in debug mode (GH-21643)

This will improve the debug experience if something fails in the produced AST. Previously, errors in the produced AST can be felt much later like in the garbage collector or the compiler, making debugging them much more difficult.

bpo-41045: Document debug feature of f-strings ('=') (GH-21509)

Co-Authored-By: Rishi <rishi93dev@gmail.com>
Automerge-Triggered-By: @gvanrossum

bpo-40939: Remove even more references to the old parser (GH-21642)

Automerge-Triggered-By: @lysnikolaou

bpo-40939: Use the new grammar for the grammar specification documentation (GH-19969)

(We censor the heck out of actions and some other stuff using a custom "highlighter".)

Co-authored-by: Guido van Rossum <guido@python.org>

bpo-41401: Fix test_fspath_support in test_io. (GH-21640)

The error is exposed on non-UTF-8 locales.

bpo-31904: Fix test_ftplib failures for VxWorks RTOS (GH-19447)

bpo-41340: Removed fallback implementation for strdup (GH-21634)

bpo-41384: Raise TclError in tkinter.OptionMenu (GH-21601)

... when an unknown option is passed.  TypeError was being raised because a 2to3 fix was missing.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

 Fix atexitmodule doc (GH-21456)

Delete remaining references to Grammar/Grammar from docs (#21624)

(Ironically, the file itself remains, see https://github.com/we-like-parsers/cpython/issues/135.)

bpo-41385: Fix test_executable_without_cwd on Windows (GH-21608)

bpo-39868: Add documentation for Assignment Expressions (walrus, PEP 572) (#18851)

bpo-41314: fixed annotations __future__ version (GH-21616)

PEP 563 was updated to change the release where `from __future__ import annotations` becomes the default (and only) behavior from 4.0 to 3.10. Update `__future__.py` and its docs to reflect this.

bpo-38731: Add --quiet option to py_compile CLI (GH-17134)

bpo-37309: NEWS for #41373 (GH-21612)

bpo-41373: IDLE: Fix saving files loaded with no newlines or mixed newlines (GH-21597)

Fixes regression in 3.8.4 and 3.9.0b4.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-41317: Remove reader on cancellation in asyncio.loop.sock_accept() (#21595)

bpo-41366: Fix clang warning for sign conversion (GH-21592)

bpo-4630: Fix errors in Lib/idlelib/NEWS.txt (GH-21594)

Also one in news log.

bpo-41182 selector: use DefaultSelector based upon implementation (GH-21257)

On some platform such as VMware ESXi, DefaultSelector fails
to detect selector due to default value.
This fix adds a check and uses the correct selector depending upon
select implementation and actual call.

Fixes: [bpo-41182]()
Signed-off-by: Abhijeet Kasurde <akasurde@redhat.com>

Stick with the phrase "default parameter value" (GH-21590)

bpo-41369 Update to libmpdec-2.5.1: new features (GH-21593)

bpo-41341: Recursive evaluation of ForwardRef in get_type_hints (#21553)

The issue raised by recursive evaluation is infinite recursion with
recursive types. In that case, only the first recursive ForwardRef is
evaluated.

bpo-41364: Reduce import overhead of uuid module (GH-21586)

bpo-41283: Fix mismatched argument name for imghdr.what (GH-21501)

bpo-40741: Update Windows build to include SQLite 3.32.3 (GH-21570)

bpo-41342: Convert int.__round__ to Argument Clinic (GH-21549)

bpo-41334: Convert constructors of str, bytes and bytearray to Argument Clinic (GH-21535)

bpo-41343: Convert methods of complex to Argument Clinic (GH-21550)

bpo-41336: Fix the error handling in zoneinfo_new_instance() (GH-21546)

Do not call PyObject_CallMethod() with a live exception (like
KeyboardInterrupt).

Simple Documentation fix: Missing link to return type class. (GH-21291)

Just a simple documentation fix: apply_async and map_async return a "multiprocessing.pool.AsyncResult Object", not a "result object".

bpo-37703: improve asyncio.gather documentation regarding cancellation (GH-15312)

These changes updates the doc to comprehensively mention the behaviour of gather.cancel()

Automerge-Triggered-By: @asvetlov

Doc: fix import of asdl.py when called from outside Doc/. (GH-21529)

bpo-40741: Update macOS installer to use SQLite 3.32.3 (GH-20979)

bpo-41338: Fix DeprecationWarning in tests (GH-21542)

bpo-38169: Increase code coverage for SharedMemory and ShareableList (GH-16139)

bpo-41205: Document Decimal power 0 to the 0 (GH-21386)

Co-authored-by: Mark Dickinson <dickinsm@gmail.com>

bpo-41333: Convert OrderedDict.pop() to Argument Clinic (GH-21534)

bpo-41295: Reimplement the Carlo Verre "hackcheck" (GH-21528)

Walk down the MRO backwards to find the type that originally defined the final `tp_setattro`, then make sure we are not jumping over intermediate C-level bases with the Python-level call.

Automerge-Triggered-By: @gvanrossum

bpo-39603: Prevent header injection in http methods (GH-18485)

reject control chars in http method in http.client.putrequest to prevent http header injection

bpo-41325: Add version note for args and kwargs property in call object (GH-21525)

bpo-41262: Convert memoryview to Argument Clinic. (GH-21421)

bpo-41288: Refactor of unpickling NEWOBJ and NEWOBJ_EX opcodes. (GH-21472)

* Share code for NEWOBJ and NEWOBJ_EX.
* More detailed error messages.

Fix a small grammatical mistake in a comment (GH-21526)

Automerge-Triggered-By: @brettcannon

bpo-43104: Update NEWS to include CVE-2020-15801 reference (GH-21521)

bpo-40941: Unify implicit and explicit state in the frame and generator objects into a single value. (GH-20803)

* Merge gen and frame state variables into one.

* Replace stack pointer with depth in PyFrameObject. Makes code easier to read and saves a word of memory.

bpo-41195: Add getter for Openssl security level (GH-21282)

Add an accessor under SSLContext.security_level as a wrapper around
SSL_CTX_get_security_level, see:
https://www.openssl.org/docs/manmaster/man3/SSL_CTX_get_security_level.html

------
This is my first time contributing, so please pull me up on all the things I missed or did incorrectly.

Automerge-Triggered-By: @tiran

 bpo-41300: IDLE - save files with non-ascii chars  (GH-21512)

Fix regression released in 3.9.0b4 and 3.8.4.

Fix trivial typo in the PEG string parser (GH-21508)

Fix possibly-unitialized warning in string_parser.c. (GH-21503)

GCC says
```
../cpython/Parser/string_parser.c: In function ‘fstring_find_expr’:
../cpython/Parser/string_parser.c:404:93: warning: ‘cols’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  404 |     p2->starting_col_offset = p->tok->first_lineno == p->tok->lineno ? t->col_offset + cols : cols;
      |                               ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~
../cpython/Parser/string_parser.c:384:16: note: ‘cols’ was declared here
  384 |     int lines, cols;
      |                ^~~~
../cpython/Parser/string_parser.c:403:45: warning: ‘lines’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  403 |     p2->starting_lineno = t->lineno + lines - 1;
      |                           ~~~~~~~~~~~~~~~~~~^~~
../cpython/Parser/string_parser.c:384:9: note: ‘lines’ was declared here
  384 |     int lines, cols;
      |         ^~~~~
```

and, indeed, if `PyBytes_AsString` somehow fails, lines & cols will not be initialized.

Remove unnecessary spaces in code blocks in urllib.parse.rst (GH-21500)

This should also fix the syntax highlighting for these code blocks

Automerge-Triggered-By: @csabella

bpo-31844: Move whatsnew note to 3.10.rst (GH-21504)

bpo-31844: Remove _markupbase.ParserBase.error() (GH-8562)

bpo-41304: Ensure python3x._pth is loaded on Windows (GH-21495)

bpo-40150: Fix mismatched argument in RegisterWaitForSingleObject() call (GH-19686)

Fix -Wstring-prototypes warnings in _zoneinfo.c. (GH-21478)

Fix -Wstrict-prototypes warning in thread_pthread.h. (GH-21477)

bpo-41302: Fix build with system libmpdec (GH-21481)

Move definition of UNUSED from modified headers of libmpdec to
_decimal.c itself. This makes the vendored source closer to the
standalone library and fixes build with --with-system-libmpdec.

Tested to build fine with either system libmpdec or the vendored one.

bpo-39017: Avoid infinite loop in the tarfile module (GH-21454)

Avoid infinite loop when reading specially crafted TAR files using the tarfile module
(CVE-2019-20907).

bpo-20183: Convert _locale to the Argument Clinic (GH-14201)

bpo-41273: asyncio's proactor read transport's better performance by using recv_into instead of recv (#21442)

* bpo-41273: Proactor transport read loop to use recv_into

By using recv_into instead of recv we do not allocate a new buffer each
time _loop_reading calls recv.

This betters performance for any stream using proactor (basically any
asyncio stream on windows).

* bpo-41273: Double proactor read transport buffer size

By doubling the read buffer size we get better performance.

bpo-32528: Document the change in inheritance of asyncio.CancelledError (GH-21474)

#msg373510

[bpo-32528]()/#13528 changed `asyncio.CancelledError` such that it no longer inherits from `concurrent.futures.CancelledError`. As this affects existing code, specifically when catching the latter instead of the former in exception handling, it should be documented in the "What's new in 3.8?" document.

Automerge-Triggered-By: @1st1

Fix repeated words in Classes tutorial (GH-21455)

The phrase "At any time during execution," was repeated twice.

Automerge-Triggered-By: @Mariatta

bpo-32192: A basic lazy importer example (GH-21330)

* Add example on lazy imports

* Use four spaces for indentation

* change to console

bpo-41288: Fix a crash in unpickling invalid NEWOBJ_EX. (GH-21458)

Automerge-Triggered-By: @tiran

bpo-41146: Convert signal.default_int_handler() to Argument Clinic (GH-21197)

bpo-20175: Convert Modules/_multiprocessing to the Argument Clinic (GH-14245)

bpo-20181: Convert the readline module to the Argument Clinic (#14326)

Fix error in docstrings in bisect module (GH-21422)

The docstrings for `bisect_right()` and `bisect_left()` contain sample
code that has a bug: `a.insert(x)` should be `a.insert(i, x)`.

bpo-41228: Fix /a/are/ in monthcalendar() descripton (GH-21372)

bpo-36346: Make using the legacy Unicode C API optional (GH-21437)

Add compile time option USE_UNICODE_WCHAR_CACHE. Setting it to 0
makes the interpreter not using the wchar_t cache and the legacy Unicode C API.

bpo-20179: Convert the _overlapped module to the Argument Clinic (GH-14275)

Fix typo in docs: 'created by th' -> 'created by the' (GH-21384)

bpo-39573: Use the Py_TYPE() macro (GH-21433)

Replace obj->ob_type with Py_TYPE(obj).

bpo-36346: Do not use legacy Unicode C API in ctypes. (#21429)

bpo-41263: Convert code.__new__ to Argument Clinic (GH-21426)

bpo-23802: patch: __deepcopy__ memo dict argument usage (GH-21326)

* Clarify __deepcopy__ memo dict argument usage

* Add full stop

bpo-37765: Add keywords to IDLE tab completions (GH-15138)

Keywords are present in the main module tab completion lists generated by rlcompleter, which is used by REPLs on *nix. Add all keywords to IDLE's main module name list except those already added from builtins (True, False, and None) . This list may also be used by Show Completions on the Edit menu, and its hot key.

Rewrite Completions doc.

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

Remove trailing >>> in enum docs (GH-21358)

The >>> as the last line serve no purpose and are not colored correctly by Sphinx.

bpo-41172: Fix check for compiler in test suite (GH-21400)

bpo-29590: fix stack trace for gen.throw() with yield from (#19896)

* Add failing test.

* bpo-29590: fix stack trace for gen.throw() with yield from (GH-NNNN)

When gen.throw() is called on a generator after a "yield from", the
intermediate stack trace entries are lost.  This commit fixes that.