Optimize _Py_strhex_impl() (GH-19535)

Avoid a temporary buffer to create a bytes string: use
PyBytes_FromStringAndSize() to directly allocate a bytes object.

Cleanup also the code: PEP 7 formatting, move variable definitions
closer to where they are used. Fix assertion checking "j" index.

bpo-40277: Add a repr() to namedtuple's _tuplegetter to aid with introspection (GH-19537)

bpo-40268: Remove unused imports in pylifecycle.c (GH-19533)

Remove unused imports in files:

* initconfig.c
* main.c
* preconfig.h
* pylifecycle.c
* python.c
* pythonrun.c

bpo-40268: Remove unused osdefs.h includes (GH-19532)

When the include is needed, add required symbol in a comment.

bpo-40268: Remove unused pycore_pymem.h includes (GH-19531)

bpo-40268: Remove unused structmember.h includes (GH-19530)

If only offsetof() is needed: include stddef.h instead.

When structmember.h is used, add a comment explaining that
PyMemberDef is used.

bpo-40268: Remove explicit pythread.h includes (#19529)

Remove explicit pythread.h includes: it is always included
by Python.h.

bpo-39481: PEP 585 for dataclasses, mailbox, contextvars (GH-19425)

bpo-39522: Always initialise kind attribute in constant ast nodes (GH-19525)

bpo-39522: Use _PyUnicodeWriter_WriteStr instead of PyUnicode_AS_DATA (GH-19523)

bpo-9216: Nobody expects the geohashing FIPS inquisition (GH-19520)

Automerge-Triggered-By: @tiran

bpo-40260: Update modulefinder to use io.open_code() and respect coding comments (GH-19488)

bpo-395222: Correctly unparse unicode prefix in ast_unparse.c (GH-19512)

bpo-32033: Fix test_pwd failures on Android (GH-19502)

bpo-40170: Convert PyObject_IS_GC() macro to a function (GH-19464)

bpo-40221: Update multiprocessing to use _at_fork_reinit (GH-19511)

bpo-40268: Move struct _gc_runtime_state to pycore_gc.h (GH-19515)

regrtest: log timeout at startup (GH-19514)

Reduce also worker timeout.

bpo-40232: Update PyOS_AfterFork_Child() to use _PyThread_at_fork_reinit() (GH-19450)

bpo-40268: Remove a few pycore_pystate.h includes (GH-19510)

bpo-40221: Update multiprocessing to use _at_fork_reinit (GH-19477)

bpo-40268: Rename _PyInterpreterState_GET_UNSAFE() (GH-19509)

Rename _PyInterpreterState_GET_UNSAFE() to _PyInterpreterState_GET()
for consistency with _PyThreadState_GET() and to have a shorter name
(help to fit into 80 columns).

Add also "assert(tstate != NULL);" to the function.

bpo-40268: Include explicitly pycore_interp.h (GH-19505)

pycore_pystate.h no longer includes pycore_interp.h:
it's now included explicitly in files accessing PyInterpreterState.

bpo-39481: Make weakref and WeakSet generic (GH-19497)

bpo-39481: Make functools.cached_property, partial, partialmethod generic (#19427)

closes bpo-40266, closes bpo-39953: Use numeric lib code if compiling against old OpenSSL. (GH-19506)

Fix typo from Lib/asyncio/events.py (GH-19410)

bpo-40208: Remove deprecated has_exec method of SymbolTable (GH-19396)

bpo-39380: Change ftplib encoding from latin-1 to utf-8 (GH-18048)

Add the encoding in ftplib.FTP and ftplib.FTP_TLS to the
constructor as keyword-only and change the default from "latin-1" to "utf-8"
to follow RFC 2640.

bpo-32894: Support unparsing of infinity numbers in ast_unparser.c (GH-17426)

bpo-40091: Fix a hang at fork in the logging module (GH-19416)

Fix a hang at fork in the logging module: the new private
_at_fork_reinit() method is now used to reinitialize locks at fork in
the child process.

The createLock() method is no longer used at fork.

bpo-39481: fix test_genericalias on Android (GH-19469)

Android bionic does not implement shm_open/shm_unlink [1].
As a result _posixshmem extension does not exist and
multiprocessing.shared_memory cannot be imported.

[1] https://android.googlesource.com/platform/bionic/+/master/docs/status.md

bpo-40241: Add pycore_interp.h header (GH-19499)

Move PyInterpreterState and related functions to a new internal
pycore_interp.h header file.

bpo-40268: Add pycore_runtime.h header file (GH-19493)

Move PyRuntimeState from pycore_pystate.h to pycore_runtime.h.

Remove _PyGILState_check_enabled macro: access directly
_PyRuntime.gilstate.check_enabled.

bpo-40241: Add pycore_gc.h header file (GH-19494)

Move the PyGC_Head structure and the following private macros to the
internal C API:

* _PyGCHead_FINALIZED()
* _PyGCHead_NEXT()
* _PyGCHead_PREV()
* _PyGCHead_SET_FINALIZED()
* _PyGCHead_SET_NEXT()
* _PyGCHead_SET_PREV()
* _PyGC_FINALIZED()
* _PyGC_PREV_MASK
* _PyGC_PREV_MASK_COLLECTING
* _PyGC_PREV_MASK_FINALIZED
* _PyGC_PREV_SHIFT
* _PyGC_SET_FINALIZED()
* _PyObject_GC_IS_TRACKED()
* _PyObject_GC_MAY_BE_TRACKED()
* _Py_AS_GC(o)

Keep the private _PyGC_FINALIZED() macro in the public C API for
backward compatibility with Python 3.8: make it an alias to the new
PyObject_GC_IsFinalized() function.

Move the SIZEOF_PYGC_HEAD constant from _testcapi module to
_testinternalcapi module.

Improved documentation for `BUILD_CONST_KEY_MAP` (GH-19454)

Add double quote cases to invalid prefix tests (GH-19489)

bpo-40268: Add _PyInterpreterState_GetConfig() (GH-19492)

Don't access PyInterpreterState.config member directly anymore, but
use new functions:

* _PyInterpreterState_GetConfig()
* _PyInterpreterState_SetConfig()
* _Py_GetConfig()

bpo-40234: Revert "bpo-37266: Daemon threads are now denied in subinterpreters (GH-14049)" (GH-19456)

This reverts commit 066e5b1a917ec2134e8997d2cadd815724314252.

closes bpo-39953: Generate ifdefs around library code definitions. (GH-19490)

bpo-40246: Report a better error message for invalid string prefixes (GH-19476)

bpo-31758: Prevent crashes when using an uninitialized _elementtree.XMLParser object (GH-3997)

bpo-13743: Add some documentation strings to xml.dom.minidom (GH-16355)

bpo-39011: Preserve line endings within ElementTree attributes (GH-18468)

* bpo-39011: Preserve line endings within attributes

Line endings within attributes were previously normalized to "\n" in Py3.7/3.8.
This patch removes that normalization, as line endings which were
replaced by entity numbers should be preserved in original form.

bpo-39943: Add the const qualifier to pointers on non-mutable PyBytes data. (GH-19472)

closes bpo-39953: Update OpenSSL error codes table. (GH-19082)

I updated the error codes using the OpenSSL 1.1.1f source tree.

bpo-40126: Fix reverting multiple patches in unittest.mock. (GH-19351)

Patcher's __exit__() is now never called if its __enter__() is failed.
Returning true from __exit__() silences now the exception.

bpo-39943: Add the const qualifier to pointers on non-mutable PyUnicode data. (GH-19345)

bpo-38501: Add a warning section to multiprocessing.Pool docs about resource managing (GH-19466)

bpo-40241: Add PyObject_GC_IsTracked and PyObject_GC_IsFinalized to the public C-API (GH-19461)

Add the functions PyObject_GC_IsTracked and PyObject_GC_IsFinalized to the public API to allow to query if Python objects are being currently tracked or have been already finalized by the garbage collector respectively.

bpo-39481: PEP 585 for a variety of modules (GH-19423)

- concurrent.futures
- ctypes
- http.cookies
- multiprocessing
- queue
- tempfile
- unittest.case
- urllib.parse

bpo-39481: PEP 585 for difflib, filecmp, fileinput (#19422)

bpo-39481: PEP 585 for enumerate, AsyncGeneratorType, mmap (GH-19421)

bpo-39481: PEP 585 for ipaddress.py (GH-19418)

Generic itertools.chain (GH-19417)

bpo-39943: Keep constness of pointer objects. (19405)

* Keep constness of pointer objects.

Also moved an auto variable that got consted into its innermost necessary scope.

* move def

Co-authored-by: Benjamin Peterson <benjamin@python.org>

bpo-31904: Fix test_c_locale_coercion encodings for VxWorks RTOS (GH-19448)

bpo-40077: Remove redundant cast in json module (GH-19438)

bpo-25780: Expose CAN_RAW_JOIN_FILTERS in the socket module (GH-19190)

Co-Authored-By: Stefan Tatschner <stefan@rumpelsepp.org>

bpo-40082: trip_signal() uses the main interpreter (GH-19441)

Fix the signal handler: it now always uses the main interpreter,
rather than trying to get the current Python thread state.

The following function now accepts an interpreter, instead of a
Python thread state:

* _PyEval_SignalReceived()
* _Py_ThreadCanHandleSignals()
* _PyEval_AddPendingCall()
* COMPUTE_EVAL_BREAKER()
* SET_GIL_DROP_REQUEST(), RESET_GIL_DROP_REQUEST()
* SIGNAL_PENDING_CALLS(), UNSIGNAL_PENDING_CALLS()
* SIGNAL_PENDING_SIGNALS(), UNSIGNAL_PENDING_SIGNALS()
* SIGNAL_ASYNC_EXC(), UNSIGNAL_ASYNC_EXC()

Py_AddPendingCall() now uses the main interpreter if it fails to the
current Python thread state.

Convert _PyThreadState_GET() and PyInterpreterState_GET_UNSAFE()
macros to static inline functions.

bpo-37127: Remove _pending_calls.finishing (GH-19439)

bpo-40226: PyInterpreterState_Delete() deletes pending calls (GH-19436)

PyInterpreterState_New() is now responsible to create pending calls,
PyInterpreterState_Delete() now deletes pending calls.

* Rename _PyEval_InitThreads() to _PyEval_InitGIL() and rename
  _PyEval_InitGIL() to _PyEval_FiniGIL().
* _PyEval_InitState() and PyEval_FiniState() now create and delete
  pending calls. _PyEval_InitState() now returns -1 on memory
  allocation failure.
* Add init_interp_create_gil() helper function: code shared by
  Py_NewInterpreter() and Py_InitializeFromConfig().
* init_interp_create_gil() now also calls _PyEval_FiniGIL(),
  _PyEval_InitGIL() and _PyGILState_Init() in subinterpreters, but
  these functions now do nothing when called from a subinterpreter.

Remove extraneous ')' in abstract.h (GH-19146)

bpo-40187: Refactor typing.TypedDict. (GH-19372)

bpo-40185: Refactor typing.NamedTuple (GH-19371)

bpo-40170: Remove PyIndex_Check() macro (GH-19428)

Always declare PyIndex_Check() as an opaque function to hide
implementation details: remove PyIndex_Check() macro. The macro
accessed directly the PyTypeObject.tp_as_number member.

bpo-40170: Add _PyIndex_Check() internal function (GH-19426)

Add _PyIndex_Check() function to the internal C API: fast inlined
verson of PyIndex_Check().

Add Include/internal/pycore_abstract.h header file.

Replace PyIndex_Check() with _PyIndex_Check() in C files of Objects
and Python subdirectories.

bpo-40170: PyType_HasFeature() now always calls PyType_GetFlags() (GH-19378)

PyType_HasFeature() now always calls PyType_GetFlags() to hide
implementation details. Previously, it accessed directly the
PyTypeObject.tp_flags member when the limited C API was not used.

Add fast inlined version _PyType_HasFeature() and _PyType_IS_GC()
for object.c and typeobject.c.

bpo-40170: Convert PyObject_CheckBuffer() macro to a function (GH-19376)

Convert PyObject_CheckBuffer() macro to a function to hide
implementation details: the macro accessed directly the
PyTypeObject.tp_as_buffer member.

bpo-40170: PyObject_NEW() becomes an alias to PyObject_New() (GH-19379)

The PyObject_NEW() macro becomes an alias to the PyObject_New()
macro, and the PyObject_NEW_VAR() macro becomes an alias to the
PyObject_NewVar() macro, to hide implementation details. They no
longer access directly the PyTypeObject.tp_basicsize member.

Exclude _PyObject_SIZE() and _PyObject_VAR_SIZE() macros from
the limited C API.

Replace PyObject_NEW() with PyObject_New() and replace
PyObject_NEW_VAR() with PyObject_NewVar().

bpo-39481: Make os.DirEntry generic (GH-19415)

bpo-40089: Add _at_fork_reinit() method to locks (GH-19195)

Add a private _at_fork_reinit() method to _thread.Lock,
_thread.RLock, threading.RLock and threading.Condition classes:
reinitialize the lock after fork in the child process; reset the lock
to the unlocked state.

Rename also the private _reset_internal_locks() method of
threading.Event to _at_fork_reinit().

* Add _PyThread_at_fork_reinit() private function. It is excluded
  from the limited C API.
* threading.Thread._reset_internal_locks() now calls
  _at_fork_reinit() on self._tstate_lock rather than creating a new
  Python lock object.

bpo-39481: Implementation for PEP 585 (#18239)

This implements things like `list[int]`,
which returns an object of type `types.GenericAlias`.
This object mostly acts as a proxy for `list`,
but has attributes `__origin__` and `__args__`
that allow recovering the parts (with values `list` and `(int,)`.

There is also an approximate notion of type variables;
e.g. `list[T]` has a `__parameters__` attribute equal to `(T,)`.
Type variables are objects of type `typing.TypeVar`.

bpo-40149: Implement traverse in _abc._abc_data (GH-19412)

Implement traverse and clear slots in _abc._abc_data type.

bpo-37388: Don't check encoding/errors during finalization (GH-19409)

str.encode() and str.decode() no longer check the encoding and errors
in development mode or in debug mode during Python finalization. The
codecs machinery can no longer work on very late calls to
str.encode() and str.decode().

This change should help to call _PyObject_Dump() to debug during late
Python finalization.

Document missing methods of ssl.SSLObject (#19400)

Co-authored-by: Rémi Lapeyre <remi.lapeyre@lenstra.fr>

bpo-40214: Temporarily disable a ctypes test (GH-19404)

Only one particular sub-test of
ctypes.test.test_loading.test_load_dll_with_flags is disabled, which
caused failures on Azure Pipelines CI.

closes bpo-40166: Change Unicode Howto so that it does not have a specific number of assigned code points. (GH-19328)

Change the number of code points from a specific number to a link to the latest standard that has a description of how many code points there are.

bpo-40196: Fix a bug in the symtable when reporting inspecting global variables (GH-19391)

bpo-40170: PyObject_GET_WEAKREFS_LISTPTR() becomes a function (GH-19377)

Convert the PyObject_GET_WEAKREFS_LISTPTR() macro to a function to
hide implementation details: the macro accessed directly to the
PyTypeObject.tp_weaklistoffset member.

Add _PyObject_GET_WEAKREFS_LISTPTR() static inline function to the
internal C API.

bpo-40147: Fix a compiler warning on Windows in Python/compile.c (GH-19389)

Change the type of nkeywords to Py_ssize_t.

bpo-40197: Better describe the benchmark results table (GH-19386)

Fix misinformation about NaN != NaN comparison (GH-19357)

bpo-40190: Add support for _SC_AIX_REALMEM in sysconf (GH-19380)

bpo-40182: Remove the _field_types attribute of the NamedTuple class (GH-19368)

closes bpo-40184: Only define pysiphash if the hash algorithm is SIPHASH24. (GH-19369)

bpo-40077: Fix potential refleaks of _json: traverse memo (GH-19344)

Fix possible refleaks in _json module, memo of PyScannerObject
should be traversed.

bpo-36517: Raise error on multiple inheritance with NamedTuple (GH-19363)

Convert tuples to sets for faster searches (GH-19365)

bpo-40164: Update Windows to OpenSSL 1.1.1f (GH-19359)

bpo-38689: avoid IDLE hanging when calltip fails getting a signature (GH-17152)

Inspect.signature failed on the test case because its isinstance call raised.

bpo-40158: Fix CPython MSBuild Properties in NuGet Package (GH-19343)

Fix default Python home path relative to the NuGet package

bpo-40141: Include the value in the column position for keyword AST nodes (GH-19348)

bpo-40147: Move the check for duplicate keywords to the compiler (GH-19289)

bpo-40131: Fix source and target order in zipapp example (GH-19290)

bpo-40112: distutils test_search_cpp: Fix logic to determine if C compiler is xlc on AIX (GH-19225)

bpo-40122: Updated documentation for dis.findlabels() (GH-19274)

bpo-40146: Update OpenSSL to 1.1.1f in Azure Pipelines (GH-19320)

Update also OpenSSL version in Ubuntu and Coverage jobs.

bpo-40162: Update Travis CI config to OpenSSL 1.1.1f (GH-19319)

bpo-40140: test_builtin.PtyTests registers SIGHUP handler (GH-19314)

test_builtin.PtyTests now registers an handler for SIGHUP signal.
Closing the PTY file descriptor can emit a SIGHUP signal: just ignore
it.

run_child() now also closes the PTY file descriptor before waiting
for the process completition, otherwise the test hangs on AIX.