bpo-41004: Resolve hash collisions for IPv4Interface and IPv6Interface (GH-21033)

The __hash__() methods of classes IPv4Interface and IPv6Interface had issue
of generating constant hash values of 32 and 128 respectively causing hash collisions.
The fix uses the hash() function to generate hash values for the objects
instead of XOR operation

Update libmpdec license dates (GH-21216)

bpo-41048: mimetypes should read the rule file using UTF-8, not the locale encoding (GH-20998)

bpo-41123: Remove PyLong_FromUnicode() (GH-21204)

bpo-41123: Remove PyUnicode_GetMax() (GH-21192)

bpo-40874 Update the required libmpdec version for the decimal module (GH-21202)

bpo-41138: Fix trace CLI for non-UTF-8 files. (GH-21177)

Fix also a resource warning when store counts and module info.

bpo-31082: Use "iterable" in the docstring for functools.reduce() (GH-20796)

bpo-41144: Fix IDLE open module error (#21182)

Could not open os.path.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-38870: Extend subject of ast.unparse warnings (GH-21053)

- Mention that some compiler optimizations might not roundtrip
exactly (such as constant tuples and frozensets).

- Add a warning about it might raise RecursionError on very
complex expressions due to recursive unparsing aspect of ast.unparse

bpo-39151: Simplify DFS in the assembler (GH-17733)

bpo-35975: Only use cf_feature_version if PyCF_ONLY_AST in cf_flags (#21021)

bpo-41076: Pre-feed the parser with the f-string expression location (GH-21054)

This commit changes the parsing of f-string expressions with the new parser. The parser gets pre-fed with the location of the expression itself (not the f-string, which was what we were doing before). This allows us to completely skip the shifting of the AST nodes after the parsing is completed.

Add soft keywords to the documentation (GH-21185)

bpo-40769: Allow extra surrounding parentheses for invalid annotated assignment rule (GH-20387)

bpo-41132: Use pymalloc allocator in the f-string parser (GH-21173)

Remove dead code from tracemalloc (GH-21029)

tracemalloc_get_frame() checked filename == NULL two times in a row.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-41123: Remove Py_UNICODE_str* functions (GH-21164)

They are undocumented and deprecated since Python 3.3.

bpo-41100: clarify NEWS item about macOS 11 support (GH-21174)

bpo-41084: Adjust message when an f-string expression causes a SyntaxError (GH-21084)

Prefix the error message with `fstring: `, when parsing an f-string expression throws a `SyntaxError`.

Improve code organization for the random module (GH-21161)

bpo-41119: Output correct error message for list/tuple followed by colon (GH-21160)

bpo-41103: Remove old buffer protocol support (#21117)

They are deprecated since Python 3.0.

Fix typo in functions.rst (GH-21131)

bpo-40275: Use new test.support helper submodules in tests (GH-21151)

Use new test.support helper submodules in tests:

* distutils tests
* test_buffer
* test_compile
* test_filecmp
* test_fileinput
* test_readline
* test_smtpnet
* test_structmembers
* test_tools

bpo-41069: Make TESTFN and the CWD for tests containing non-ascii characters. (GH-21035)

BPO-41100: Support macOS 11 when building (GH-21113)

bpo-40939: run autoreconf to fix configure{,.ac} disparity (GH-21152)

bpo-40275: Use new test.support helper submodules in tests (GH-20824)

bpo-40521: Optimize PyBytes_FromStringAndSize(str, 0) (GH-21142)

Always create the empty bytes string singleton.

Optimize PyBytes_FromStringAndSize(str, 0): it no longer has to check
if the empty string singleton was created or not, it is always
available.

Add functions:

* _PyBytes_Init()
* bytes_get_empty(), bytes_new_empty()
* bytes_create_empty_string_singleton()
* unicode_create_empty_string_singleton()

_Py_unicode_state: rename empty structure member to empty_string.

bpo-41113: Fix test_warnings on non-Western locales. (GH-21143)

bpo-41112: Fix test_peg_generator on non-UTF-8 locales. (GH-21138)

bpo-40204: Pin Sphinx version to 2.3.1 in ``Doc/Makefile``. (GH-21141)

bpo-35773: Fix test_bdb on non-UTF-8 locales. (GH-21136)

bpo-40275: Use new test.support helper submodules in tests (GH-20849)

bpo-39580: add check for CLI installation on macOS (GH-20271)

Adds a simple check for whether or not the package is being installed in the GUI or using installer on the command line. This addresses an issue where CLI-based software management tools (such as Munki) unexpectedly open Finder windows into a GUI session during installation runs.

Forward port macOS installer updates from 3.7/3.8/3.9 (GH-21132)

bpo-41074: Fix support of non-ASCII names and SQL in msilib. (GH-21126)

* Fix support of non-ASCII names in functions OpenDatabase()
  and init_database().
* Fix support of non-ASCII SQL in method Database.OpenView().

bpo-41002: Optimize HTTPResponse.read with a given amount (GH-20943)

I've done the implementation for both non-chunked and chunked reads. I haven't benchmarked chunked reads because I don't currently have a convenient way to generate a high-bandwidth chunked stream, but I don't see any reason that it shouldn't enjoy the same benefits that the non-chunked case does. I've used the benchmark attached to the bpo bug to verify that performance now matches the unsized read case.

Automerge-Triggered-By: @methane

bpo-40773: Fix rendering for 'retval' on the pdb page (GH-21081)

Automerge-Triggered-By: @merwok

bpo-41094: Additional fix for PYTHONSTARTUP. (GH-21119)

bpo-41038: Fix non-ASCII string corruption in Win32 resource files (GH-20985)

In absence of explicit declaration, resource compiler uses system
codepage. When this codepage is DBCS or UTF-8, Python's copyright
string is corrupted, because it contains copyright sign encoded
as \xA9.

The fix is to explicitly declare codepage 1252.

bpo-40521: Always create the empty tuple singleton (GH-21116)

Py_InitializeFromConfig() now always creates the empty tuple
singleton as soon as possible.

Optimize PyTuple_New(0): it no longer has to check if the empty tuple
was created or not, it is always creatd.

* Add tuple_create_empty_tuple_singleton() function.
* Add tuple_get_empty() function.
* Remove state parameter of tuple_alloc().

Fix typo in dataclasses module (GH-21109)

Automerge-Triggered-By: @matrixise

bpo-41094: Fix decoding errors with audit when open files. (GH-21095)

bpo-40707: Document that Popen.communicate sets the returncode attribute (GH-20283)

bpo-40521: Fix _PyContext_Fini() (GH-21103)

Only clear _token_missing in the main interpreter.

bpo-40521: Make Unicode latin1 singletons per interpreter (GH-21101)

Each interpreter now has its own Unicode latin1 singletons.

Remove "ifdef EXPERIMENTAL_ISOLATED_SUBINTERPRETERS"
and "ifdef LATIN1_SINGLETONS": always enable latin1 singletons.

Optimize unicode_result_ready(): only attempt to get a latin1
singleton for PyUnicode_1BYTE_KIND.

bpo-41070: Simplify pyshellext.dll build (GH-21037)

Replace MIDL-generated file with manual GUID definition.
Use the same .def file for release and debug builds.
Update setup build to support latest toolset

bpo-40521: Optimize PyUnicode_New(0, maxchar) (GH-21099)

Functions of unicodeobject.c, like PyUnicode_New(), no longer check
if the empty Unicode singleton has been initialized or not. Consider
that it is always initialized. The Unicode API must not be used
before _PyUnicode_Init() or after _PyUnicode_Fini().

bpo-40521: Make empty Unicode string per interpreter (GH-21096)

Each interpreter now has its own empty Unicode string singleton.

bpo-31938: Fix default-value signatures of several functions in the select module (GH-21066)

bpo-40521: Make MemoryError free list per interpreter (GH-21086)

Each interpreter now has its own MemoryError free list: it is not
longer shared by all interpreters.

Add _Py_exc_state structure and PyInterpreterState.exc_state member.
Move also errnomap into _Py_exc_state.

bpo-41039: Simplify python3.dll build (GH-20989)

Use linker comment #pragma and preprocessor for re-exporting stable
API functions and variables.

Module definition file, custom build targets and entry point code
become unnecessary and can be removed.

This change also fixes missing _PyErr_BadInternalCall export on x86.

bpo-41054: Simplify resource compilation on Windows (GH-21004)

Remove auto-generated resource header. Pass definitions required
by resource files (ORIGINAL_FILENAME and FIELD3) directly to resource
compiler.

Remove unused MS_DLL_ID resource string and related dead code.

On path with known exact float, extract the double with the fast macro. (GH-21072)

bpo-41089: Filters and other issues in Visual Studio projects (GH-21070)

* Add missing header files to pythoncore.
* Add missing file filters ("Resource Files" in particular) to
  all projects.
* Add new sub-filters for private headers in pythoncore and
  for 3rd party source files.
* Add missing _zoneinfo configurations in pcbuild.sln.
* Update bdist_wininst with the new zlib location.

bpo-40521: Empty frozenset is no longer a singleton (GH-21085)

* Revert "bpo-40521: Make the empty frozenset per interpreter (GH-21068)"

This reverts commit 261cfedf7657a515e04428bba58eba2a9bb88208.

* bpo-40521: Empty frozensets are no longer singletons

* Complete the removal of the frozenset singleton

bpo-40521: Cleanup code of free lists (GH-21082)

Add get_xxx_state() function to factorize duplicated code.

bpo-41065: Use zip-strict in zoneinfo (GH-21031)

Call _PyWarnings_InitState() in subinterpreters (GH-21078)

Py_InitializeFromConfig() now calls also _PyWarnings_InitState() in
subinterpreters.

bpo-36710: Pass tstate explicitly in abstract.c (GH-21075)

In functions calling more than one PyErr function, get tstate and
then pass it explicitly.

bpo-40521: Make bytes singletons per interpreter (GH-21074)

Each interpreter now has its own empty bytes string and single byte
character singletons.

Replace STRINGLIB_EMPTY macro with STRINGLIB_GET_EMPTY() macro.

bpo-40521: Remove freelist from collections.deque() (GH-21073)

bpo-41085: Fix array.array.index() on 64-bit Windows (GH-21071)

Fix integer overflow in the :meth:`array.array.index` method on 64-bit Windows
for index larger than ``2**31``.

bpo-40521: Make the empty frozenset per interpreter (GH-21068)

Each interpreter now has its own empty frozenset singleton.

bpo-40521: Make dict free lists per-interpreter (GH-20645)

Each interpreter now has its own dict free list:

* Move dict free lists into PyInterpreterState.
* Move PyDict_MAXFREELIST define to pycore_interp.h
* Add _Py_dict_state structure.
* Add tstate parameter to _PyDict_ClearFreeList() and _PyDict_Fini().
* In debug mode, ensure that the dict free lists are not used after
  _PyDict_Fini() is called.
* Remove "#ifdef EXPERIMENTAL_ISOLATED_SUBINTERPRETERS".

Small clean-ups for the random module (GH-21038)

Improve asyncio.loop.call_soon() documentation (GH-20883)

* Add a glossary entry for the term "callback"
* Link to it in loop.call_soon() and in the "Concurrency and Multithreading" section

Co-authored-by: Kyle Stanley <aeros167@gmail.com>

bpo-41078: Fix bltinmodule.c with Py_TRACE_REFS (GH-21058)

Add pycore_object.h include to fix bltinmodule.c when Py_TRACE_REFS
macro is defined.

bpo-1635741: Port _lzma module to multiphase initialization  (GH-19382)

bpo-41078: Add pycore_list.h internal header file (GH-21057)

* Move _PyList_ITEMS() to pycore_list.h.
* The C extension "_heapq" is now built with Py_BUILD_CORE_MODULE
  macro defined to access the internal C API.

bpo-41078: Rename pycore_tupleobject.h to pycore_tuple.h (GH-21056)

bpo-41005: Fixed perrmission error (GH-20936)

* fixed issue 41005: webbrowser fails when xdg-settings cannot be executed

Co-authored-by: KrishnaSai2020 <krishnasai.chivukula@gmal.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-41068: Fix read after write in zipfile for non-ASCII files names. (GH-21040)

bpo-26407: Do not mask errors in csv. (GH-20536)

Unexpected errors in calling the __iter__ method are no longer
masked by TypeError in csv.reader(), csv.writer.writerow() and
csv.writer.writerows().

bpo-40824: Do not mask errors in __iter__ in "in" and the operator module. (GH-20537)

Unexpected errors in calling the __iter__ method are no longer
masked by TypeError in the "in" operator and functions
operator.contains(), operator.indexOf() and operator.countOf().

bpo-41061: Fix incorrect expressions in hashtable (GH-21028)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-41056: Fix a possible MemoryError leak within zoneinfo. (GH-21007)

This was detected by our Coverity scan as a REVERSE_INULL issue.

Automerge-Triggered-By: @gpshead

bpo-41056: Fix reference to deallocated stack in pathconfig (Coverity) (GH-21013)

Reported by Coverity.  (CID 1457554 RETURN_LOCAL)

path0 is assigned as a pointer to this right before it goes out of scope.

Skip tests to fix bot (GH-20777)

Co-authored-by: nanjekyejoannah <joannah.nanjekye@ibm.com>

bpo-40939: Rename PyPegen* functions to PyParser* (GH-21016)

Rename PyPegen* functions to PyParser*, so that we can remove the
old set of PyParser* functions that were using the old parser.

bpo-41052: Opt out serialization/deserialization for _random.Random (GH-21002)

bpo-41055: Remove outdated tests for the tp_print slot. (GH-21006)

bpo-41058: Use source file encoding in pdb.find_function(). (GH-21010)

bpo-41060: Avoid SEGFAULT when calling GET_INVALID_TARGET in the grammar (GH-21020)

`GET_INVALID_TARGET` might unexpectedly return `NULL`, which if not
caught will cause a SEGFAULT. Therefore, this commit introduces a new
inline function `RAISE_SYNTAX_ERROR_INVALID_TARGET` that always
checks for `GET_INVALID_TARGET` returning NULL and can be used in
the grammar, replacing the long C ternary operation used till now.

bpo-41056: Use the fildes converter for fd to please Coverity. (GH-21011)

There are a bunch of other fd: int uses in this file, I expect many if not
all of them would be better off using the fildes converter.  This particular
one was flagged by Coverity as it presumably flags fpathconf as not accepting
negative fds.  I'd expect the other fd's to have been flagged as well
otherwise.

I'm marking this one as skip news as it really is a no-op.

bpo-41056: Fix a NULL pointer dereference on MemoryError within the ssl module. (GH-21009)

Detected by Coverity.

bpo-40939: Remove the old parser (Part 2) (GH-21005)

Remove some remaining files and Makefile targets for the old parser

bpo-41044: Generate valid PEG python parsers for opt+seq rules (GH-20995)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>

Add link to .pypirc specification (GH-20680)

Related to https://github.com/pypa/twine/issues/638 and https://github.com/pypa/packaging.python.org/issues/730, I wrote a spec based on the one that was removed in https://github.com/python/cpython/pull/13087. However, a Google search for "pypirc" turned up at least one [blog post](https://truveris.github.io/articles/configuring-pypirc/) that links to https://docs.python.org/3/distutils/packageindex.html#the-pypirc-file, which now just links to this document. So, I thought a link to the spec would be handy.

Automerge-Triggered-By: @jaraco

bpo-40958: Avoid 'possible loss of data' warning on Windows (GH-20970)

bpo-41024: doc: Explicitly mention use of 'enum.Enum' as a valid container for '… (GH-20964)

…choices' argument of 'argparse.ArgumentParser.add_argument'.

Here's a short first proposal of doc. enhancement addressing [bpo-41024]().

Automerge-Triggered-By: @csabella

bpo-41043: Escape literal part of the path for glob(). (GH-20994)

bpo-41040: Fix test_modulefinder. (GH-20991)

bpo-40636: Documentation for zip-strict (#20961)

bpo-38377: Fix skip_if_broken_multiprocessing_synchronize() on macOS (GH-20984)

skip_if_broken_multiprocessing_synchronize() only attempts for create
a semaphore on Linux to fix multiprocessing
test_resource_tracker_reused() on macOS.

bpo-40077: Convert _bz2 module to use PyType_FromSpec (GH-20960)

Improve blake2 comment for Victor (GH-20981)

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: @tiran

Improve readability of `formataddr` docstring (GH-20963)

For me as a non native English speaker, the sentence with its embedded clause was very hard to understand.

modified:   Lib/email/utils.py

Automerge-Triggered-By: @csabella