bpo-41173: Copy test results file from ARM worker before uploading (GH-21305)

bpo-41224: Document is_annotated() in symtable module and update doc strings (GH-21369)

* Document is_annotate() and update doc strings

* Move quotes to the next line.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

bpo-29778: test_embed tests the path configuration (GH-21306)

bpo-41207 In distutils.spawn, rewrite FileNotFound (GH-21359)

Automerge-Triggered-By: @jaraco

bpo-41215: Make assertion in the new parser more strict (GH-21364)

bpo-41218: Improve the test cases for test_compile_top_level_await_no_coro (GH-21363)

bpo-41218: Only mark async code with CO_COROUTINE. (#21357)

3.8.3 had a regression where compiling with
ast.PyCF_ALLOW_TOP_LEVEL_AWAIT woudl agressively mark things are
coroutine even if there were not.

bpo-40742: Doc: fix parallel build. (GH-21237)

bpo-41215: Don't use NULL by default in the PEG parser keyword list (GH-21355)

Automerge-Triggered-By: @lysnikolaou

bpo-29778: Ensure python3.dll is loaded from correct locations when Python is embedded (GH-21297)

Also enables using debug build of `python3_d.dll`
Reference: CVE-2020-15523

bpo-40275: Use new test.support helper submodules in tests (GH-21317)

bpo-37207: Update whatsnews for 3.9 (GH-21337)

bpo-40275: Use new test.support helper submodules in tests (GH-21315)

bpo-40275: Use new test.support helper submodules in tests (GH-21314)

bpo-41165: Deprecate PyEval_ReleaseLock() (GH-21309)

bpo-28681: Clarify multiple function names in the tutorial (GH-21340)

* improve control flow docs

* Add also

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-26205: Specify the number of nested scopes (GH-21324)

* Clarify number of scopes

* Indicate 3 or 4

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-29727: Register array.array as a MutableSequence (GH-21338)

bpo-36346: Undeprecate private function _PyUnicode_AsUnicode(). (GH-21336)

bpo-39168: Remove the __new__ method of typing.Generic (GH-21327)

Automerge-Triggered-By: @gvanrossum

bpo-41211: Doc: Fix PyLong_FromUnicodeObject (GH-21325)

It doesn't use PyUnicode_EncodeDecimal. It uses a private API instead.

Uncomment Py_DEPRECATED for Py_UNICODE APIs (GH-21318)

PyUnicode_EncodeDecimal and PyUnicode_TransformDecimalToASCII
are deprecated since Python 3.3.
But Py_DEPRECATED(3.3) was commented out.

bpo-41204: Fix compiler warning in ast_type_init() (GH-21307)

bpo-33864: Clarify the docs for typing.ByteString (GH-21311)

bpo-41162: Clear audit hooks later during finalization (GH-21222)

bpo-41180: Audit code.__new__ when unmarshalling (GH-21271)

bpo-41194: Convert _ast extension to PEP 489 (GH-21293)

Convert the _ast extension module to PEP 489 "Multiphase
initialization". Replace the global _ast state with a module state.

bpo-1635741: Port faulthandler module to multiphase initialization (GH-21294)

bpo-1635741: Fix unicode_dealloc() for mortal interned string (GH-21270)

When unicode_dealloc() is called on a mortal interned string, the
string reference counter is now reset at zero.

bpo-41194: The _ast module cannot be loaded more than once (GH-21290)

Fix a crash in the _ast module: it can no longer be loaded more than
once. It now uses a global state rather than a module state.

* Move _ast module state: use a global state instead.
* Set _astmodule.m_size to -1, so the extension cannot be loaded more
  than once.

bpo-41194: Pass module state in Python-ast.c (GH-21284)

Rework asdl_c.py to pass the module state to functions in
Python-ast.c, instead of using astmodulestate_global.

Handle also PyState_AddModule() failure in init_types().

bpo-1635741: Port sha256 module to multiphase init (PEP 489) (GH-21189)

bpo-39960: Allow heap types in the "Carlo Verre" hack check that override "tp_setattro()" (GH-21092)

Automerge-Triggered-By: @gvanrossum

Remove extraneous file from the Docs folder (GH-21286)

bpo-41193: Ignore OSError in readline write_history() (GH-21279)

The write_history() atexit function of the readline completer now
ignores any OSError to ignore error if the filesystem is read-only,
instead of only ignoring FileNotFoundError and PermissionError.

bpo-40967: Remove deprecated asyncio.Task.current_task() and asyncio.Task.all_tasks() (GH-20874)

bpo-1635741: Release Unicode interned strings at exit (GH-21269)

* PyUnicode_InternInPlace() now ensures that interned strings are
  ready.
* Add _PyUnicode_ClearInterned().
* Py_Finalize() now releases Unicode interned strings:
  call _PyUnicode_ClearInterned().

bpo-40521: Cleanup finalize_interp_types() (GH-21265)

Remove the now unused is_main_interp parameter of
finalize_interp_types().

bpo-39385: Add an assertNoLogs context manager to unittest.TestCase (GH-18067)

Co-authored-by: Rémi Lapeyre <remi.lapeyre@henki.fr>

bpo-41187: Convert the _msi module to Argument Clinic (GH-21264)

Add lysnikolaou to CODEOWNERS for the new parser (GH-21252)

Doc: Minor fix to init config C API documentation (GH-21198)

Co-authored-by: Tomer Vromen <tomer.vromen@intel.com>

bpo-41161 Add news entry for libmpdec-2.5.0  (GH-21243)

bpo-39314: Closes parenthesis when autocompleting for functions that take no arguments (GH-20562)

bpo-40275: Use new test.support helper submodules in tests (GH-21169)

bpo-40275: Use new test.support helper submodules in tests (GH-21219)

Update FAQ release schedule and estimated users (GH-21180)

Update FAQ to include:
* The new yearly release schedule from PEP 602
* Estimated users from "tens of thousands" to "millions"

bpo-41100: fix _decimal for arm64 Mac OS (GH-21228)

Patch by Lawrence Danna.

bpo-41142: Add support of non-ASCII paths for CAB files. (GH-21195)

* The path to the CAB file can be non-ASCII.
* Paths of added files can be non-ASCII.

bpo-41158: IDLE: rewrite the code for handling file encoding (GH-21215)

bpo-36346: Raise DeprecationWarning when creating legacy Unicode (GH-20933)

bpo-36346: Prepare for removing the legacy Unicode C API (AC only). (GH-21223)

bpo-41123: Remove PyUnicode_AsUnicodeCopy (GH-21209)

bpo-41152: IDLE: always use UTF-8 for standard IO streams (GH-21214)

bpo-23427: Add sys.orig_argv attribute (GH-20729)

Add sys.orig_argv attribute: the list of the original command line
arguments passed to the Python executable.

Rename also PyConfig._orig_argv to PyConfig.orig_argv and
document it.

bpo-40924: Ensure importlib.resources.path returns an extant path (GH-20857)

bpo-37999: Simplify the conversion code for %c, %d, %x, etc. (GH-20437)

Since PyLong_AsLong() no longer use __int__, explicit call
of PyNumber_Index() before it is no longer needed.

Fix typo in Object/listobject.c (GH-21079)

bpo-41004: Resolve hash collisions for IPv4Interface and IPv6Interface (GH-21033)

The __hash__() methods of classes IPv4Interface and IPv6Interface had issue
of generating constant hash values of 32 and 128 respectively causing hash collisions.
The fix uses the hash() function to generate hash values for the objects
instead of XOR operation

Update libmpdec license dates (GH-21216)

bpo-41048: mimetypes should read the rule file using UTF-8, not the locale encoding (GH-20998)

bpo-41123: Remove PyLong_FromUnicode() (GH-21204)

bpo-41123: Remove PyUnicode_GetMax() (GH-21192)

bpo-40874 Update the required libmpdec version for the decimal module (GH-21202)

bpo-41138: Fix trace CLI for non-UTF-8 files. (GH-21177)

Fix also a resource warning when store counts and module info.

bpo-31082: Use "iterable" in the docstring for functools.reduce() (GH-20796)

bpo-41144: Fix IDLE open module error (#21182)

Could not open os.path.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-38870: Extend subject of ast.unparse warnings (GH-21053)

- Mention that some compiler optimizations might not roundtrip
exactly (such as constant tuples and frozensets).

- Add a warning about it might raise RecursionError on very
complex expressions due to recursive unparsing aspect of ast.unparse

bpo-39151: Simplify DFS in the assembler (GH-17733)

bpo-35975: Only use cf_feature_version if PyCF_ONLY_AST in cf_flags (#21021)

bpo-41076: Pre-feed the parser with the f-string expression location (GH-21054)

This commit changes the parsing of f-string expressions with the new parser. The parser gets pre-fed with the location of the expression itself (not the f-string, which was what we were doing before). This allows us to completely skip the shifting of the AST nodes after the parsing is completed.

Add soft keywords to the documentation (GH-21185)

bpo-40769: Allow extra surrounding parentheses for invalid annotated assignment rule (GH-20387)

bpo-41132: Use pymalloc allocator in the f-string parser (GH-21173)

Remove dead code from tracemalloc (GH-21029)

tracemalloc_get_frame() checked filename == NULL two times in a row.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-41123: Remove Py_UNICODE_str* functions (GH-21164)

They are undocumented and deprecated since Python 3.3.

bpo-41100: clarify NEWS item about macOS 11 support (GH-21174)

bpo-41084: Adjust message when an f-string expression causes a SyntaxError (GH-21084)

Prefix the error message with `fstring: `, when parsing an f-string expression throws a `SyntaxError`.

Improve code organization for the random module (GH-21161)

bpo-41119: Output correct error message for list/tuple followed by colon (GH-21160)

bpo-41103: Remove old buffer protocol support (#21117)

They are deprecated since Python 3.0.

Fix typo in functions.rst (GH-21131)

bpo-40275: Use new test.support helper submodules in tests (GH-21151)

Use new test.support helper submodules in tests:

* distutils tests
* test_buffer
* test_compile
* test_filecmp
* test_fileinput
* test_readline
* test_smtpnet
* test_structmembers
* test_tools

bpo-41069: Make TESTFN and the CWD for tests containing non-ascii characters. (GH-21035)

BPO-41100: Support macOS 11 when building (GH-21113)

bpo-40939: run autoreconf to fix configure{,.ac} disparity (GH-21152)

bpo-40275: Use new test.support helper submodules in tests (GH-20824)

bpo-40521: Optimize PyBytes_FromStringAndSize(str, 0) (GH-21142)

Always create the empty bytes string singleton.

Optimize PyBytes_FromStringAndSize(str, 0): it no longer has to check
if the empty string singleton was created or not, it is always
available.

Add functions:

* _PyBytes_Init()
* bytes_get_empty(), bytes_new_empty()
* bytes_create_empty_string_singleton()
* unicode_create_empty_string_singleton()

_Py_unicode_state: rename empty structure member to empty_string.

bpo-41113: Fix test_warnings on non-Western locales. (GH-21143)

bpo-41112: Fix test_peg_generator on non-UTF-8 locales. (GH-21138)

bpo-40204: Pin Sphinx version to 2.3.1 in ``Doc/Makefile``. (GH-21141)

bpo-35773: Fix test_bdb on non-UTF-8 locales. (GH-21136)

bpo-40275: Use new test.support helper submodules in tests (GH-20849)

bpo-39580: add check for CLI installation on macOS (GH-20271)

Adds a simple check for whether or not the package is being installed in the GUI or using installer on the command line. This addresses an issue where CLI-based software management tools (such as Munki) unexpectedly open Finder windows into a GUI session during installation runs.

Forward port macOS installer updates from 3.7/3.8/3.9 (GH-21132)

bpo-41074: Fix support of non-ASCII names and SQL in msilib. (GH-21126)

* Fix support of non-ASCII names in functions OpenDatabase()
  and init_database().
* Fix support of non-ASCII SQL in method Database.OpenView().

bpo-41002: Optimize HTTPResponse.read with a given amount (GH-20943)

I've done the implementation for both non-chunked and chunked reads. I haven't benchmarked chunked reads because I don't currently have a convenient way to generate a high-bandwidth chunked stream, but I don't see any reason that it shouldn't enjoy the same benefits that the non-chunked case does. I've used the benchmark attached to the bpo bug to verify that performance now matches the unsized read case.

Automerge-Triggered-By: @methane

bpo-40773: Fix rendering for 'retval' on the pdb page (GH-21081)

Automerge-Triggered-By: @merwok

bpo-41094: Additional fix for PYTHONSTARTUP. (GH-21119)

bpo-41038: Fix non-ASCII string corruption in Win32 resource files (GH-20985)

In absence of explicit declaration, resource compiler uses system
codepage. When this codepage is DBCS or UTF-8, Python's copyright
string is corrupted, because it contains copyright sign encoded
as \xA9.

The fix is to explicitly declare codepage 1252.