bpo-40939: Remove even more references to the old parser (GH-21642)

Automerge-Triggered-By: @lysnikolaou

bpo-40939: Use the new grammar for the grammar specification documentation (GH-19969)

(We censor the heck out of actions and some other stuff using a custom "highlighter".)

Co-authored-by: Guido van Rossum <guido@python.org>

bpo-41401: Fix test_fspath_support in test_io. (GH-21640)

The error is exposed on non-UTF-8 locales.

bpo-31904: Fix test_ftplib failures for VxWorks RTOS (GH-19447)

bpo-41340: Removed fallback implementation for strdup (GH-21634)

bpo-41384: Raise TclError in tkinter.OptionMenu (GH-21601)

... when an unknown option is passed.  TypeError was being raised because a 2to3 fix was missing.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

 Fix atexitmodule doc (GH-21456)

Delete remaining references to Grammar/Grammar from docs (#21624)

(Ironically, the file itself remains, see https://github.com/we-like-parsers/cpython/issues/135.)

bpo-41385: Fix test_executable_without_cwd on Windows (GH-21608)

bpo-39868: Add documentation for Assignment Expressions (walrus, PEP 572) (#18851)

bpo-41314: fixed annotations __future__ version (GH-21616)

PEP 563 was updated to change the release where `from __future__ import annotations` becomes the default (and only) behavior from 4.0 to 3.10. Update `__future__.py` and its docs to reflect this.

bpo-38731: Add --quiet option to py_compile CLI (GH-17134)

bpo-37309: NEWS for #41373 (GH-21612)

bpo-41373: IDLE: Fix saving files loaded with no newlines or mixed newlines (GH-21597)

Fixes regression in 3.8.4 and 3.9.0b4.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-41317: Remove reader on cancellation in asyncio.loop.sock_accept() (#21595)

bpo-41366: Fix clang warning for sign conversion (GH-21592)

bpo-4630: Fix errors in Lib/idlelib/NEWS.txt (GH-21594)

Also one in news log.

bpo-41182 selector: use DefaultSelector based upon implementation (GH-21257)

On some platform such as VMware ESXi, DefaultSelector fails
to detect selector due to default value.
This fix adds a check and uses the correct selector depending upon
select implementation and actual call.

Fixes: [bpo-41182]()
Signed-off-by: Abhijeet Kasurde <akasurde@redhat.com>

Stick with the phrase "default parameter value" (GH-21590)

bpo-41369 Update to libmpdec-2.5.1: new features (GH-21593)

bpo-41341: Recursive evaluation of ForwardRef in get_type_hints (#21553)

The issue raised by recursive evaluation is infinite recursion with
recursive types. In that case, only the first recursive ForwardRef is
evaluated.

bpo-41364: Reduce import overhead of uuid module (GH-21586)

bpo-41283: Fix mismatched argument name for imghdr.what (GH-21501)

bpo-40741: Update Windows build to include SQLite 3.32.3 (GH-21570)

bpo-41342: Convert int.__round__ to Argument Clinic (GH-21549)

bpo-41334: Convert constructors of str, bytes and bytearray to Argument Clinic (GH-21535)

bpo-41343: Convert methods of complex to Argument Clinic (GH-21550)

bpo-41336: Fix the error handling in zoneinfo_new_instance() (GH-21546)

Do not call PyObject_CallMethod() with a live exception (like
KeyboardInterrupt).

Simple Documentation fix: Missing link to return type class. (GH-21291)

Just a simple documentation fix: apply_async and map_async return a "multiprocessing.pool.AsyncResult Object", not a "result object".

bpo-37703: improve asyncio.gather documentation regarding cancellation (GH-15312)

These changes updates the doc to comprehensively mention the behaviour of gather.cancel()

Automerge-Triggered-By: @asvetlov

Doc: fix import of asdl.py when called from outside Doc/. (GH-21529)

bpo-40741: Update macOS installer to use SQLite 3.32.3 (GH-20979)

bpo-41338: Fix DeprecationWarning in tests (GH-21542)

bpo-38169: Increase code coverage for SharedMemory and ShareableList (GH-16139)

bpo-41205: Document Decimal power 0 to the 0 (GH-21386)

Co-authored-by: Mark Dickinson <dickinsm@gmail.com>

bpo-41333: Convert OrderedDict.pop() to Argument Clinic (GH-21534)

bpo-41295: Reimplement the Carlo Verre "hackcheck" (GH-21528)

Walk down the MRO backwards to find the type that originally defined the final `tp_setattro`, then make sure we are not jumping over intermediate C-level bases with the Python-level call.

Automerge-Triggered-By: @gvanrossum

bpo-39603: Prevent header injection in http methods (GH-18485)

reject control chars in http method in http.client.putrequest to prevent http header injection

bpo-41325: Add version note for args and kwargs property in call object (GH-21525)

bpo-41262: Convert memoryview to Argument Clinic. (GH-21421)

bpo-41288: Refactor of unpickling NEWOBJ and NEWOBJ_EX opcodes. (GH-21472)

* Share code for NEWOBJ and NEWOBJ_EX.
* More detailed error messages.

Fix a small grammatical mistake in a comment (GH-21526)

Automerge-Triggered-By: @brettcannon

bpo-43104: Update NEWS to include CVE-2020-15801 reference (GH-21521)

bpo-40941: Unify implicit and explicit state in the frame and generator objects into a single value. (GH-20803)

* Merge gen and frame state variables into one.

* Replace stack pointer with depth in PyFrameObject. Makes code easier to read and saves a word of memory.

bpo-41195: Add getter for Openssl security level (GH-21282)

Add an accessor under SSLContext.security_level as a wrapper around
SSL_CTX_get_security_level, see:
https://www.openssl.org/docs/manmaster/man3/SSL_CTX_get_security_level.html

------
This is my first time contributing, so please pull me up on all the things I missed or did incorrectly.

Automerge-Triggered-By: @tiran

 bpo-41300: IDLE - save files with non-ascii chars  (GH-21512)

Fix regression released in 3.9.0b4 and 3.8.4.

Fix trivial typo in the PEG string parser (GH-21508)

Fix possibly-unitialized warning in string_parser.c. (GH-21503)

GCC says
```
../cpython/Parser/string_parser.c: In function ‘fstring_find_expr’:
../cpython/Parser/string_parser.c:404:93: warning: ‘cols’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  404 |     p2->starting_col_offset = p->tok->first_lineno == p->tok->lineno ? t->col_offset + cols : cols;
      |                               ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~
../cpython/Parser/string_parser.c:384:16: note: ‘cols’ was declared here
  384 |     int lines, cols;
      |                ^~~~
../cpython/Parser/string_parser.c:403:45: warning: ‘lines’ may be used uninitialized in this function [-Wmaybe-uninitialized]
  403 |     p2->starting_lineno = t->lineno + lines - 1;
      |                           ~~~~~~~~~~~~~~~~~~^~~
../cpython/Parser/string_parser.c:384:9: note: ‘lines’ was declared here
  384 |     int lines, cols;
      |         ^~~~~
```

and, indeed, if `PyBytes_AsString` somehow fails, lines & cols will not be initialized.

Remove unnecessary spaces in code blocks in urllib.parse.rst (GH-21500)

This should also fix the syntax highlighting for these code blocks

Automerge-Triggered-By: @csabella

bpo-31844: Move whatsnew note to 3.10.rst (GH-21504)

bpo-31844: Remove _markupbase.ParserBase.error() (GH-8562)

bpo-41304: Ensure python3x._pth is loaded on Windows (GH-21495)

bpo-40150: Fix mismatched argument in RegisterWaitForSingleObject() call (GH-19686)

Fix -Wstring-prototypes warnings in _zoneinfo.c. (GH-21478)

Fix -Wstrict-prototypes warning in thread_pthread.h. (GH-21477)

bpo-41302: Fix build with system libmpdec (GH-21481)

Move definition of UNUSED from modified headers of libmpdec to
_decimal.c itself. This makes the vendored source closer to the
standalone library and fixes build with --with-system-libmpdec.

Tested to build fine with either system libmpdec or the vendored one.

bpo-39017: Avoid infinite loop in the tarfile module (GH-21454)

Avoid infinite loop when reading specially crafted TAR files using the tarfile module
(CVE-2019-20907).

bpo-20183: Convert _locale to the Argument Clinic (GH-14201)

bpo-41273: asyncio's proactor read transport's better performance by using recv_into instead of recv (#21442)

* bpo-41273: Proactor transport read loop to use recv_into

By using recv_into instead of recv we do not allocate a new buffer each
time _loop_reading calls recv.

This betters performance for any stream using proactor (basically any
asyncio stream on windows).

* bpo-41273: Double proactor read transport buffer size

By doubling the read buffer size we get better performance.

bpo-32528: Document the change in inheritance of asyncio.CancelledError (GH-21474)

#msg373510

[bpo-32528]()/#13528 changed `asyncio.CancelledError` such that it no longer inherits from `concurrent.futures.CancelledError`. As this affects existing code, specifically when catching the latter instead of the former in exception handling, it should be documented in the "What's new in 3.8?" document.

Automerge-Triggered-By: @1st1

Fix repeated words in Classes tutorial (GH-21455)

The phrase "At any time during execution," was repeated twice.

Automerge-Triggered-By: @Mariatta

bpo-32192: A basic lazy importer example (GH-21330)

* Add example on lazy imports

* Use four spaces for indentation

* change to console

bpo-41288: Fix a crash in unpickling invalid NEWOBJ_EX. (GH-21458)

Automerge-Triggered-By: @tiran

bpo-41146: Convert signal.default_int_handler() to Argument Clinic (GH-21197)

bpo-20175: Convert Modules/_multiprocessing to the Argument Clinic (GH-14245)

bpo-20181: Convert the readline module to the Argument Clinic (#14326)

Fix error in docstrings in bisect module (GH-21422)

The docstrings for `bisect_right()` and `bisect_left()` contain sample
code that has a bug: `a.insert(x)` should be `a.insert(i, x)`.

bpo-41228: Fix /a/are/ in monthcalendar() descripton (GH-21372)

bpo-36346: Make using the legacy Unicode C API optional (GH-21437)

Add compile time option USE_UNICODE_WCHAR_CACHE. Setting it to 0
makes the interpreter not using the wchar_t cache and the legacy Unicode C API.

bpo-20179: Convert the _overlapped module to the Argument Clinic (GH-14275)

Fix typo in docs: 'created by th' -> 'created by the' (GH-21384)

bpo-39573: Use the Py_TYPE() macro (GH-21433)

Replace obj->ob_type with Py_TYPE(obj).

bpo-36346: Do not use legacy Unicode C API in ctypes. (#21429)

bpo-41263: Convert code.__new__ to Argument Clinic (GH-21426)

bpo-23802: patch: __deepcopy__ memo dict argument usage (GH-21326)

* Clarify __deepcopy__ memo dict argument usage

* Add full stop

bpo-37765: Add keywords to IDLE tab completions (GH-15138)

Keywords are present in the main module tab completion lists generated by rlcompleter, which is used by REPLs on *nix. Add all keywords to IDLE's main module name list except those already added from builtins (True, False, and None) . This list may also be used by Show Completions on the Edit menu, and its hot key.

Rewrite Completions doc.

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

Remove trailing >>> in enum docs (GH-21358)

The >>> as the last line serve no purpose and are not colored correctly by Sphinx.

bpo-41172: Fix check for compiler in test suite (GH-21400)

bpo-29590: fix stack trace for gen.throw() with yield from (#19896)

* Add failing test.

* bpo-29590: fix stack trace for gen.throw() with yield from (GH-NNNN)

When gen.throw() is called on a generator after a "yield from", the
intermediate stack trace entries are lost.  This commit fixes that.

bpo-40275: Use new test.support helper submodules in tests (GH-21412)

bpo-41199: Docstring convention not followed for dataclasses documentation page (GH-21413)

Automerge-Triggered-By: @ericvsmith

bpo-41252: Fix incorrect refcounting in _ssl.c's _servername_callback() (GH-21407)

Doc: Builtins functions: faster jump table (GH-21376)

bpo-40597: Allow email.contextmanager set_content() to set a null string. (GH-20542)

bpo-41175: Guard against a NULL pointer dereference within bytearrayobject (GH-21240)

The issue is triggered by the bytearray() + bytearray() operation.

Detected by GCC 10 static analysis tool.

bpo-41247: asyncio.set_running_loop() cache running loop holder (GH-21401)

The running loop holder cache variable was always set to NULL when
calling set_running_loop.

Now set_running_loop saves the newly created running loop holder in the
cache variable for faster access in get_running_loop.

Automerge-Triggered-By: @1st1

Revert "bpo-40170: PyType_HasFeature() now always calls PyType_GetFlags() (GH-19378)" (GH-21390)

This partially reverts commit 45ec5b99aefa54552947049086e87ec01bc2fc9a.

closes bpo-41235: Fix the error handling in SSLContext.load_dh_params() (GH-21385)

Add a test for get_id() (GH-21370)

bpo-41173: Copy test results file from ARM worker before uploading (GH-21305)

bpo-41224: Document is_annotated() in symtable module and update doc strings (GH-21369)

* Document is_annotate() and update doc strings

* Move quotes to the next line.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-29778: test_embed tests the path configuration (GH-21306)

bpo-41207 In distutils.spawn, rewrite FileNotFound (GH-21359)

Automerge-Triggered-By: @jaraco

bpo-41215: Make assertion in the new parser more strict (GH-21364)

bpo-41218: Improve the test cases for test_compile_top_level_await_no_coro (GH-21363)

bpo-41218: Only mark async code with CO_COROUTINE. (#21357)

3.8.3 had a regression where compiling with
ast.PyCF_ALLOW_TOP_LEVEL_AWAIT woudl agressively mark things are
coroutine even if there were not.

bpo-40742: Doc: fix parallel build. (GH-21237)

bpo-41215: Don't use NULL by default in the PEG parser keyword list (GH-21355)

Automerge-Triggered-By: @lysnikolaou

bpo-29778: Ensure python3.dll is loaded from correct locations when Python is embedded (GH-21297)

Also enables using debug build of `python3_d.dll`
Reference: CVE-2020-15523

bpo-40275: Use new test.support helper submodules in tests (GH-21317)