bpo-1635741: Fix unicode_dealloc() for mortal interned string (GH-21270)

When unicode_dealloc() is called on a mortal interned string, the
string reference counter is now reset at zero.

bpo-41194: The _ast module cannot be loaded more than once (GH-21290)

Fix a crash in the _ast module: it can no longer be loaded more than
once. It now uses a global state rather than a module state.

* Move _ast module state: use a global state instead.
* Set _astmodule.m_size to -1, so the extension cannot be loaded more
  than once.

bpo-41194: Pass module state in Python-ast.c (GH-21284)

Rework asdl_c.py to pass the module state to functions in
Python-ast.c, instead of using astmodulestate_global.

Handle also PyState_AddModule() failure in init_types().

bpo-1635741: Port sha256 module to multiphase init (PEP 489) (GH-21189)

bpo-39960: Allow heap types in the "Carlo Verre" hack check that override "tp_setattro()" (GH-21092)

Automerge-Triggered-By: @gvanrossum

Remove extraneous file from the Docs folder (GH-21286)

bpo-41193: Ignore OSError in readline write_history() (GH-21279)

The write_history() atexit function of the readline completer now
ignores any OSError to ignore error if the filesystem is read-only,
instead of only ignoring FileNotFoundError and PermissionError.

bpo-40967: Remove deprecated asyncio.Task.current_task() and asyncio.Task.all_tasks() (GH-20874)

bpo-1635741: Release Unicode interned strings at exit (GH-21269)

* PyUnicode_InternInPlace() now ensures that interned strings are
  ready.
* Add _PyUnicode_ClearInterned().
* Py_Finalize() now releases Unicode interned strings:
  call _PyUnicode_ClearInterned().

bpo-40521: Cleanup finalize_interp_types() (GH-21265)

Remove the now unused is_main_interp parameter of
finalize_interp_types().

bpo-39385: Add an assertNoLogs context manager to unittest.TestCase (GH-18067)

Co-authored-by: Rémi Lapeyre <remi.lapeyre@henki.fr>

bpo-41187: Convert the _msi module to Argument Clinic (GH-21264)

Add lysnikolaou to CODEOWNERS for the new parser (GH-21252)

Doc: Minor fix to init config C API documentation (GH-21198)

Co-authored-by: Tomer Vromen <tomer.vromen@intel.com>

bpo-41161 Add news entry for libmpdec-2.5.0  (GH-21243)

bpo-39314: Closes parenthesis when autocompleting for functions that take no arguments (GH-20562)

bpo-40275: Use new test.support helper submodules in tests (GH-21169)

bpo-40275: Use new test.support helper submodules in tests (GH-21219)

Update FAQ release schedule and estimated users (GH-21180)

Update FAQ to include:
* The new yearly release schedule from PEP 602
* Estimated users from "tens of thousands" to "millions"

bpo-41100: fix _decimal for arm64 Mac OS (GH-21228)

Patch by Lawrence Danna.

bpo-41142: Add support of non-ASCII paths for CAB files. (GH-21195)

* The path to the CAB file can be non-ASCII.
* Paths of added files can be non-ASCII.

bpo-41158: IDLE: rewrite the code for handling file encoding (GH-21215)

bpo-36346: Raise DeprecationWarning when creating legacy Unicode (GH-20933)

bpo-36346: Prepare for removing the legacy Unicode C API (AC only). (GH-21223)

bpo-41123: Remove PyUnicode_AsUnicodeCopy (GH-21209)

bpo-41152: IDLE: always use UTF-8 for standard IO streams (GH-21214)

bpo-23427: Add sys.orig_argv attribute (GH-20729)

Add sys.orig_argv attribute: the list of the original command line
arguments passed to the Python executable.

Rename also PyConfig._orig_argv to PyConfig.orig_argv and
document it.

bpo-40924: Ensure importlib.resources.path returns an extant path (GH-20857)

bpo-37999: Simplify the conversion code for %c, %d, %x, etc. (GH-20437)

Since PyLong_AsLong() no longer use __int__, explicit call
of PyNumber_Index() before it is no longer needed.

Fix typo in Object/listobject.c (GH-21079)

bpo-41004: Resolve hash collisions for IPv4Interface and IPv6Interface (GH-21033)

The __hash__() methods of classes IPv4Interface and IPv6Interface had issue
of generating constant hash values of 32 and 128 respectively causing hash collisions.
The fix uses the hash() function to generate hash values for the objects
instead of XOR operation

Update libmpdec license dates (GH-21216)

bpo-41048: mimetypes should read the rule file using UTF-8, not the locale encoding (GH-20998)

bpo-41123: Remove PyLong_FromUnicode() (GH-21204)

bpo-41123: Remove PyUnicode_GetMax() (GH-21192)

bpo-40874 Update the required libmpdec version for the decimal module (GH-21202)

bpo-41138: Fix trace CLI for non-UTF-8 files. (GH-21177)

Fix also a resource warning when store counts and module info.

bpo-31082: Use "iterable" in the docstring for functools.reduce() (GH-20796)

bpo-41144: Fix IDLE open module error (#21182)

Could not open os.path.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-38870: Extend subject of ast.unparse warnings (GH-21053)

- Mention that some compiler optimizations might not roundtrip
exactly (such as constant tuples and frozensets).

- Add a warning about it might raise RecursionError on very
complex expressions due to recursive unparsing aspect of ast.unparse

bpo-39151: Simplify DFS in the assembler (GH-17733)

bpo-35975: Only use cf_feature_version if PyCF_ONLY_AST in cf_flags (#21021)

bpo-41076: Pre-feed the parser with the f-string expression location (GH-21054)

This commit changes the parsing of f-string expressions with the new parser. The parser gets pre-fed with the location of the expression itself (not the f-string, which was what we were doing before). This allows us to completely skip the shifting of the AST nodes after the parsing is completed.

Add soft keywords to the documentation (GH-21185)

bpo-40769: Allow extra surrounding parentheses for invalid annotated assignment rule (GH-20387)

bpo-41132: Use pymalloc allocator in the f-string parser (GH-21173)

Remove dead code from tracemalloc (GH-21029)

tracemalloc_get_frame() checked filename == NULL two times in a row.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-41123: Remove Py_UNICODE_str* functions (GH-21164)

They are undocumented and deprecated since Python 3.3.

bpo-41100: clarify NEWS item about macOS 11 support (GH-21174)

bpo-41084: Adjust message when an f-string expression causes a SyntaxError (GH-21084)

Prefix the error message with `fstring: `, when parsing an f-string expression throws a `SyntaxError`.

Improve code organization for the random module (GH-21161)

bpo-41119: Output correct error message for list/tuple followed by colon (GH-21160)

bpo-41103: Remove old buffer protocol support (#21117)

They are deprecated since Python 3.0.

Fix typo in functions.rst (GH-21131)

bpo-40275: Use new test.support helper submodules in tests (GH-21151)

Use new test.support helper submodules in tests:

* distutils tests
* test_buffer
* test_compile
* test_filecmp
* test_fileinput
* test_readline
* test_smtpnet
* test_structmembers
* test_tools

bpo-41069: Make TESTFN and the CWD for tests containing non-ascii characters. (GH-21035)

BPO-41100: Support macOS 11 when building (GH-21113)

bpo-40939: run autoreconf to fix configure{,.ac} disparity (GH-21152)

bpo-40275: Use new test.support helper submodules in tests (GH-20824)

bpo-40521: Optimize PyBytes_FromStringAndSize(str, 0) (GH-21142)

Always create the empty bytes string singleton.

Optimize PyBytes_FromStringAndSize(str, 0): it no longer has to check
if the empty string singleton was created or not, it is always
available.

Add functions:

* _PyBytes_Init()
* bytes_get_empty(), bytes_new_empty()
* bytes_create_empty_string_singleton()
* unicode_create_empty_string_singleton()

_Py_unicode_state: rename empty structure member to empty_string.

bpo-41113: Fix test_warnings on non-Western locales. (GH-21143)

bpo-41112: Fix test_peg_generator on non-UTF-8 locales. (GH-21138)

bpo-40204: Pin Sphinx version to 2.3.1 in ``Doc/Makefile``. (GH-21141)

bpo-35773: Fix test_bdb on non-UTF-8 locales. (GH-21136)

bpo-40275: Use new test.support helper submodules in tests (GH-20849)

bpo-39580: add check for CLI installation on macOS (GH-20271)

Adds a simple check for whether or not the package is being installed in the GUI or using installer on the command line. This addresses an issue where CLI-based software management tools (such as Munki) unexpectedly open Finder windows into a GUI session during installation runs.

Forward port macOS installer updates from 3.7/3.8/3.9 (GH-21132)

bpo-41074: Fix support of non-ASCII names and SQL in msilib. (GH-21126)

* Fix support of non-ASCII names in functions OpenDatabase()
  and init_database().
* Fix support of non-ASCII SQL in method Database.OpenView().

bpo-41002: Optimize HTTPResponse.read with a given amount (GH-20943)

I've done the implementation for both non-chunked and chunked reads. I haven't benchmarked chunked reads because I don't currently have a convenient way to generate a high-bandwidth chunked stream, but I don't see any reason that it shouldn't enjoy the same benefits that the non-chunked case does. I've used the benchmark attached to the bpo bug to verify that performance now matches the unsized read case.

Automerge-Triggered-By: @methane

bpo-40773: Fix rendering for 'retval' on the pdb page (GH-21081)

Automerge-Triggered-By: @merwok

bpo-41094: Additional fix for PYTHONSTARTUP. (GH-21119)

bpo-41038: Fix non-ASCII string corruption in Win32 resource files (GH-20985)

In absence of explicit declaration, resource compiler uses system
codepage. When this codepage is DBCS or UTF-8, Python's copyright
string is corrupted, because it contains copyright sign encoded
as \xA9.

The fix is to explicitly declare codepage 1252.

bpo-40521: Always create the empty tuple singleton (GH-21116)

Py_InitializeFromConfig() now always creates the empty tuple
singleton as soon as possible.

Optimize PyTuple_New(0): it no longer has to check if the empty tuple
was created or not, it is always creatd.

* Add tuple_create_empty_tuple_singleton() function.
* Add tuple_get_empty() function.
* Remove state parameter of tuple_alloc().

Fix typo in dataclasses module (GH-21109)

Automerge-Triggered-By: @matrixise

bpo-41094: Fix decoding errors with audit when open files. (GH-21095)

bpo-40707: Document that Popen.communicate sets the returncode attribute (GH-20283)

bpo-40521: Fix _PyContext_Fini() (GH-21103)

Only clear _token_missing in the main interpreter.

bpo-40521: Make Unicode latin1 singletons per interpreter (GH-21101)

Each interpreter now has its own Unicode latin1 singletons.

Remove "ifdef EXPERIMENTAL_ISOLATED_SUBINTERPRETERS"
and "ifdef LATIN1_SINGLETONS": always enable latin1 singletons.

Optimize unicode_result_ready(): only attempt to get a latin1
singleton for PyUnicode_1BYTE_KIND.

bpo-41070: Simplify pyshellext.dll build (GH-21037)

Replace MIDL-generated file with manual GUID definition.
Use the same .def file for release and debug builds.
Update setup build to support latest toolset

bpo-40521: Optimize PyUnicode_New(0, maxchar) (GH-21099)

Functions of unicodeobject.c, like PyUnicode_New(), no longer check
if the empty Unicode singleton has been initialized or not. Consider
that it is always initialized. The Unicode API must not be used
before _PyUnicode_Init() or after _PyUnicode_Fini().

bpo-40521: Make empty Unicode string per interpreter (GH-21096)

Each interpreter now has its own empty Unicode string singleton.

bpo-31938: Fix default-value signatures of several functions in the select module (GH-21066)

bpo-40521: Make MemoryError free list per interpreter (GH-21086)

Each interpreter now has its own MemoryError free list: it is not
longer shared by all interpreters.

Add _Py_exc_state structure and PyInterpreterState.exc_state member.
Move also errnomap into _Py_exc_state.

bpo-41039: Simplify python3.dll build (GH-20989)

Use linker comment #pragma and preprocessor for re-exporting stable
API functions and variables.

Module definition file, custom build targets and entry point code
become unnecessary and can be removed.

This change also fixes missing _PyErr_BadInternalCall export on x86.

bpo-41054: Simplify resource compilation on Windows (GH-21004)

Remove auto-generated resource header. Pass definitions required
by resource files (ORIGINAL_FILENAME and FIELD3) directly to resource
compiler.

Remove unused MS_DLL_ID resource string and related dead code.

On path with known exact float, extract the double with the fast macro. (GH-21072)

bpo-41089: Filters and other issues in Visual Studio projects (GH-21070)

* Add missing header files to pythoncore.
* Add missing file filters ("Resource Files" in particular) to
  all projects.
* Add new sub-filters for private headers in pythoncore and
  for 3rd party source files.
* Add missing _zoneinfo configurations in pcbuild.sln.
* Update bdist_wininst with the new zlib location.

bpo-40521: Empty frozenset is no longer a singleton (GH-21085)

* Revert "bpo-40521: Make the empty frozenset per interpreter (GH-21068)"

This reverts commit 261cfedf7657a515e04428bba58eba2a9bb88208.

* bpo-40521: Empty frozensets are no longer singletons

* Complete the removal of the frozenset singleton

bpo-40521: Cleanup code of free lists (GH-21082)

Add get_xxx_state() function to factorize duplicated code.

bpo-41065: Use zip-strict in zoneinfo (GH-21031)

Call _PyWarnings_InitState() in subinterpreters (GH-21078)

Py_InitializeFromConfig() now calls also _PyWarnings_InitState() in
subinterpreters.

bpo-36710: Pass tstate explicitly in abstract.c (GH-21075)

In functions calling more than one PyErr function, get tstate and
then pass it explicitly.

bpo-40521: Make bytes singletons per interpreter (GH-21074)

Each interpreter now has its own empty bytes string and single byte
character singletons.

Replace STRINGLIB_EMPTY macro with STRINGLIB_GET_EMPTY() macro.

bpo-40521: Remove freelist from collections.deque() (GH-21073)

bpo-41085: Fix array.array.index() on 64-bit Windows (GH-21071)

Fix integer overflow in the :meth:`array.array.index` method on 64-bit Windows
for index larger than ``2**31``.

bpo-40521: Make the empty frozenset per interpreter (GH-21068)

Each interpreter now has its own empty frozenset singleton.

bpo-40521: Make dict free lists per-interpreter (GH-20645)

Each interpreter now has its own dict free list:

* Move dict free lists into PyInterpreterState.
* Move PyDict_MAXFREELIST define to pycore_interp.h
* Add _Py_dict_state structure.
* Add tstate parameter to _PyDict_ClearFreeList() and _PyDict_Fini().
* In debug mode, ensure that the dict free lists are not used after
  _PyDict_Fini() is called.
* Remove "#ifdef EXPERIMENTAL_ISOLATED_SUBINTERPRETERS".

Small clean-ups for the random module (GH-21038)

Improve asyncio.loop.call_soon() documentation (GH-20883)

* Add a glossary entry for the term "callback"
* Link to it in loop.call_soon() and in the "Concurrency and Multithreading" section

Co-authored-by: Kyle Stanley <aeros167@gmail.com>

bpo-41078: Fix bltinmodule.c with Py_TRACE_REFS (GH-21058)

Add pycore_object.h include to fix bltinmodule.c when Py_TRACE_REFS
macro is defined.