bpo-15450: Allow subclassing of dircmp (GH-23424) (#23424)

Co-authored-by: Chris Jerdonek <chris.jerdonek@gmail.com>

bpo-28850: Fix PrettyPrinter.format overrides ignored for contents of small containers (GH-22120)

bpo-42328: Fix tkinter.ttk.Style.map(). (GH-23300)

The function accepts now the representation of the default state as
empty sequence (as returned by Style.map()).
The structure of the result is now the same on all platform
and does not depend on the value of wantobjects.

bpo-42435: Speed up comparison of bytes and bytearray object (GH--23461)

* Speed up comparison of bytes objects with non-bytes objects when
  option -b is specified.
* Speed up comparison of bytarray objects with non-buffer object.

Doc: fix typo in typing.Type docs (GH-23460)

bpo-42423: Accept single base class in PyType_FromModuleAndSpec() (GH-23441)

bpo-42427: Use the errno attribute of OSError instead of args[0] (GH-23449)

bpo-42391: Clarify documentation of TestCase.assertIs (GH-23348)

Removing 'evaluate' makes it more consistent with other assertX entries.

bpo-41116: Ensure system supplied libraries are found on macOS 11 (GH-23301)

On macOS system provided libraries are in a shared library cache
and not at their usual location. This PR teaches distutils to search
in the SDK, even if there was no "-sysroot" argument in
the compiler flags.

bpo-42426: IDLE: Fix reporting offset of the RE error in searchengine (GH-23447)

bpo-41100: Stripping '-arch arm64' didn't work after all (GH-23280)

bpo-42361: Use Tcl/Tk 8.6.10 when building the installer on recent macOS (GH-23293)

Building on older versions, and in particular macOS 10.9 still use
Tk 8.6.8 because of build problems on that version of macOS.

bpo-38443: Check that the specified universal architectures work (GH-22910)

As [bpo-38443]() says the error message from configure when specifying --enable-universalsdk with a set of architectures that is not supported by the compiler is not very helpful.   This PR explicitly checks if the compiler works and bails out if it doesn't.

Clarify that Set._from_iterable is not required to be a classmethod. (GH-23272)

bpo-1635741: Port select module to multiphase init (GH-23409)

bpo-1635741: Port _posixsubprocess module to multiphase init (GH-23406)

bpo-42425: Fix possible leak in initialization of errmap for OSError (GH-23446)

bpo-42232: mmap module add Darwin specific madvise options. (GH-23076)

bpo-42412: Fix possible leaks and check arguments in PyType_FromModuleAndSpec() (GH-23410)

* There were leaks if Py_tp_bases is used more than once or if some call is
  failed before setting tp_bases.
* There was a crash if the bases argument or the Py_tp_bases slot is not a tuple.
* The documentation was not accurate.

bpo-40550: Fix time-of-check/time-of-action issue in subprocess.Popen.send_signal. (GH-20010)

send_signal() now swallows the exception if the process it thought was still alive winds up not to exist anymore (always a plausible race condition despite the checks).

Co-authored-by: Gregory P. Smith <greg@krypto.org>

bpo-40791: Make compare_digest more constant-time. (GH-20444)

* bpo-40791: Make compare_digest more constant-time.

The existing volatile `left`/`right` pointers guarantee that the reads will all occur, but does not guarantee that they will be _used_. So a compiler can still short-circuit the loop, saving e.g. the overhead of doing the xors and especially the overhead of the data dependency between `result` and the reads. That would change performance depending on where the first unequal byte occurs. This change removes that optimization.

(This is change #1 from https://bugs.python.org/issue40791 .)

bpo-42419: Correct 'deprecatations' is What's New 3.9 (GH-23421)

bpo-42407: Use possessive appostrophe in multiprocessing doc (GH-23400)

bpo-36876: [c-analyzer tool] Tighten up the results and output. (GH-23431)

We also update the "ignored" file with a temporary list of all known globals.

bpo-28002: Roundtrip f-strings with ast.unparse better (#19612)

By attempting to avoid backslashes in f-string expressions.
We also now proactively raise errors for some backslashes we can't
avoid while unparsing FormattedValues

Co-authored-by: hauntsaninja <>
Co-authored-by: Shantanu <hauntsaninja@users.noreply.github.com>
Co-authored-by: Batuhan Taskaya <isidentical@gmail.com>

bpo-42360: Add advice to help avoid pickling issues. (GH-23305)

Fix wrong availability for signal.SIGCHLD (#23285)

I believe this is a mistake. SIGCHLD is only available on Unix systems, not Windows.

bpo-35498: Added slice support to PathLib parents attribute. (GH-11165)

Added slice support to the `pathlib.Path.parents` sequence. For a `Path` `p`, slices of `p.parents` should return the same thing as slices of `tuple(p.parents)`.

bpo-42212: Check if generated files are up-to-date in GitHub Actions (GH-23042)

See https: //github.com/python/core-workflow/issues/380

Signed-off-by: Filipe Laíns <lains@archlinux.org>

bpo-42403: Use @staticmethod in importlib (GH-23395)

Use @staticmethod on methods using @classmethod but don't use their
cls parameter on the following classes:

* BuiltinImporter
* FrozenImporter
* WindowsRegistryFinder
* PathFinder

Leave methods using @_requires_builtin or @_requires_frozen unchanged,
since this decorator requires the wrapped method to have an extra parameter
(cls or self).

bpo-1635741: Convert _sre types to heap types and establish module state (PEP 384) (GH-23393)

bpo-1635741: Enhance _datetime error handling (GH-23139)

bpo-42333: Port _ssl extension module to heap types (GH-23392)

All types in _ssl module are now heap types.

bpo-42413: socket.timeout is now an alias of TimeoutError (GH-23413)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-42416: Use inspect.getdoc for IDLE calltips (GH-23416)

Inspect.getdoc(ob) sometimes gets docstrings when ob.__doc__ is None.

bpo-42345: Add whatsnew and versionchanged for typing.Literal in 3.9 (GH-23386)

* Whatsnew entry in 3.9 same as the one in 3.10.
* versionchanged for typing.Literal docs

Needs backport to 3.9.

bpo-42345: Fix hash implementation of typing.Literal (GH-23383)

Fix hash implementation of `typing.Literal`.

Update docs regarding `typing.Litaral` caching.

Base implementation was done in PR #23294.

bpo-1635741: Port _posixshmem extension module to multiphase initialization (GH-23404)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-1635741: Fix _struct for build bot error (GH-23402)

Automerge-Triggered-By: GH:tiran

bpo-1635741: Port gc module to multiphase initialization (GH-23377)

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: GH:tiran

bpo-1635741: Port _struct to multiphase initialization (GH-23398)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-42403: Simplify importlib external bootstrap (GH-23397)

Simplify the importlib external bootstrap code:
importlib._bootstrap_external now uses regular imports to import
builtin modules. When it is imported, the builtin __import__()
function is already fully working and so can be used to import
builtin modules like sys.

bpo-42403: Fix pyflakes warnings in importlib (GH-23396)

Remove unused imports and unused local variables.

bpo-1635741: Port spwd to multiphase initialization (GH-23390)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-1635741: Port _queue to multiphase initialization (GH-23376)

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: GH:tiran

bpo-1635741: Port grp and pwd to multiphase initialization (GH-23360)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-1635741: Port _random to multiphase initialization (GH-23359)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-42375: subprocess DragonFlyBSD build update. (GH-23320)

Same as FreeBSD, file descriptors in /dev/fd id from 0 to 63.

bpo-42345: Add whatsnew for typing.Literal in 3.10 (GH-23385)

bpo-42381: Document walrus-related syntax changes in whatsnew (GH-23382)

Automerge-Triggered-By: GH:lysnikolaou

bpo-1635741: Port _warnings to the multi-phase init (GH-23379)

Port the _warnings extension module to the multi-phase initialization
API (PEP 489).

[doc] Fix smtplib and xml.dom.minidom mark-up (GH-22769)

bpo-1635741: Convert _imp to multi-phase init (GH-23378)

Convert the _imp extension module to the multi-phase initialization
API (PEP 489).

* Add _PyImport_BootstrapImp() which fix a bootstrap issue: import
  the _imp module before importlib is initialized.
* Add create_builtin() sub-function, used by _imp_create_builtin().
* Initialize PyInterpreterState.import_func earlier, in
  pycore_init_builtins().
* Remove references to _PyImport_Cleanup(). This function has been
  renamed to finalize_modules() and moved to pylifecycle.c.

bpo-39573: Remove What's new entry for Py_SIZE() (GH-23375)

A follow up for 0e2ac21dd4960574e89561243763eabba685296a

bpo-42085: Add documentation for Py_TPFLAGS_HAVE_AM_SEND (GH-23374)

Updated docs to include `Py_TPFLAGS_HAVE_AM_SEND`. News section should not be necessary.

Automerge-Triggered-By: GH:asvetlov

bpo-39573: Convert Py_TYPE() and Py_SIZE() back to macros (GH-23366)

This change partically reverts
commit ad3252bad905d41635bcbb4b76db30d570cf0087
and the commit fe2978b3b940fe2478335e3a2ca5ad22338cdf9c.

Many third party C extension modules rely on the ability of using
Py_TYPE() to set an object type: "Py_TYPE(obj) = type;" or to set an
object type using: "Py_SIZE(obj) = size;".

bpo-42336: Improve PCbuild batch files (GH-23275)

bpo-40998: Address compiler warnings found by ubsan (GH-20929)

Signed-off-by: Christian Heimes <christian@python.org>
Automerge-Triggered-By: GH:tiran

bpo-1635741: Port _hashlib to multiphase initialization (GH-23358)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-1635741: Port symtable module to multiphase initialization (GH-23361)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-40998: Fix a refleak in create_filter() (GH-23365)

bpo-42398: Fix "make regen-all" race condition (GH-23362)

Fix a race condition in "make regen-all" when make -jN option is used
to run jobs in parallel. The clinic.py script now only use atomic
write to write files. Moveover, generated files are now left
unchanged if the content does not change, to not change the file
modification time.

The "make regen-all" command runs "make clinic" and "make
regen-importlib" targets:

* "make regen-importlib" builds object files (ex: Modules/_weakref.o)
  from source files (ex: Modules/_weakref.c) and clinic files (ex:
  Modules/clinic/_weakref.c.h)
* "make clinic" always rewrites all clinic files
  (ex: Modules/clinic/_weakref.c.h)

Since there is no dependency between "clinic" and "regen-importlib"
Makefile targets, these two targets can be run in parallel. Moreover,
half of clinic.py file writes are not atomic and so there is a race
condition when "make regen-all" runs jobs in parallel using make -jN
option (which can be passed in MAKEFLAGS environment variable).

Fix clinic.py to make all file writes atomic:

* Add write_file() function to ensure that all file writes are
  atomic: write into a temporary file and then use os.replace().
* Moreover, write_file() doesn't recreate or modify the file if the
  content does not change to avoid modifying the file modification
  file.
* Update test_clinic to verify these assertions with a functional
  test.
* Remove Clinic.force attribute which was no longer used, whereas
  Clinic.verify remains useful.

bpo-41561: skip test_min_max_version_mismatch (GH-22308)

skip test_min_max_version_mismatch when TLS 1.0 is not available

Signed-off-by: Christian Heimes <christian@python.org>

bpo-40656: Clean up detect_socket() (GH-20148)

bpo-42395: Add aclosing to __all__ (GH-23356)

Automerge-Triggered-By: GH:asvetlov

bpo-42396: Add a whatsnew entry about async contextlib.nullcontext (GH-23357)

Automerge-Triggered-By: GH:asvetlov

bpo-41713: Port _signal module to multi-phase init (GH-23355)

Port the _signal extension module to the multi-phase initialization
API (PEP 489).

Co-Authored-By: Mohamed Koubaa <koubaa.m@gmail.com>

bpo-41625: Skip os.splice() tests on AIX (GH-23354)

On AIX, splice() only works with a socket, whereas the test uses a
pipe.

bpo-41686: Move _Py_RestoreSignals() to signalmodule.c (GH-23353)

Fix: Docstrings hidden by slots. (GH-23352)

Some `__slots__` where before the docstring, hiding them.

bpo-41625: Add a guard for Linux for splice() constants in the os module (GH-23350)

bpo-41625: Specify that Linux >= 2.6.17 *and* glibc >= 2.5 are requir… (GH-23351)

…ed for splice()

bpo-42349: Compiler clean up. More yak-shaving for PEP 626. (GH-23267)

Make sure that CFG from compiler front-end is correct. Be a bit more aggressive in the compiler back-end.

bpo-41625: Add versionadded to os.splice() constants (GH-23340)

bpo-41686: Refactor signal_exec() (GH-23346)

* Add signal_add_constants() function and add ADD_INT_MACRO macro.
* The Python SIGINT handler is now installed at the end of
  signal_exec().
* Use Py_NewRef().

bpo-41686: Always create the SIGINT event on Windows (GH-23344)

bpo-41686, bpo-41713: On Windows, the SIGINT event,
_PyOS_SigintEvent(), is now created even if Python is configured to
not install signal handlers (PyConfig.install_signal_handlers=0 or
Py_InitializeEx(0)).

Changes:

* Move global variables initialization from signal_exec() to
  _PySignal_Init() to clarify that they are global variables cleared
  by _PySignal_Fini().
* _PySignal_Fini() now closes sigint_event.
* IntHandler is no longer a global variable.

bpo-42264: Deprecate sqlite3.OptimizedUnicode (GH-23163)

bpo-41713: Remove PyOS_InitInterrupts() function (GH-23342)

Remove the undocumented PyOS_InitInterrupts() C function.

* Rename PyOS_InitInterrupts() to _PySignal_Init(). It now installs
  other signal handlers, not only SIGINT.
* Rename PyOS_FiniInterrupts() to _PySignal_Fini()

bpo-40637: Don't test builtin PBKDF2 without builtin hashes (GH-20980)

Skip testing of pure Python PBKDF2 when one or more builtin hash module
is not available. Otherwise the import of hashlib prints noise on
stderr.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-41861, _sqlite3 : Add NEWS entry and rename variables (GH-23337)

bpo-42345: Fix three issues with typing.Literal parameters (GH-23294)

Literal equality no longer depends on the order of arguments.

Fix issue related to `typing.Literal` caching by adding `typed` parameter to `typing._tp_cache` function.

Add deduplication of `typing.Literal` arguments.

bpo-42381: Allow walrus in set literals and set comprehensions (GH-23332)

Currently walruses are not allowerd in set literals and set comprehensions:

>>> {y := 4, 4**2, 3**3}
  File "<stdin>", line 1
    {y := 4, 4**2, 3**3}
       ^
SyntaxError: invalid syntax

but they should be allowed as well per PEP 572

bpo-41625: Expose the splice() system call in the os module (GH-21947)

Add GCC pragmas to silence compiler warning about ffi_prep_closure (GH-23327)

bpo-42120: Remove macro defining copysign to _copysign on Windows (GH-23326)

bpo-42316: Allow unparenthesized walrus operator in indexes (GH-23317)

bpo-42374: Allow unparenthesized walrus in genexps (GH-23319)

This fixes a regression that was introduced by the new parser.

Automerge-Triggered-By: GH:lysnikolaou

bpo-38506: Fix the Windows py.exe launcher's misordering of 3.10 (GH-18307)

bpo-40939: Document removal of the old parser in 3.10 whatsnew (GH-23321)

Automerge-Triggered-By: GH:lysnikolaou

bpo-42087: Remove support for AIX 5.3 and below (GH-22830)

As AIX 5.3 and below do not support thread_cputime, it was decided in
https://bugs.python.org/issue40680 to require AIX 6.1 and above. This
commit removes workarounds for — and references to — older, unsupported
AIX versions.

bpo-37205: time.time() cannot fail with fatal error (GH-23314)

time.time(), time.perf_counter() and time.monotonic() functions can
no longer fail with a Python fatal error, instead raise a regular
Python exception on failure.

Remove _PyTime_Init(): don't check system, monotonic and perf counter
clocks at startup anymore.

On error, _PyTime_GetSystemClock(), _PyTime_GetMonotonicClock() and
_PyTime_GetPerfCounter() now silently ignore the error and return 0.
They cannot fail with a Python fatal error anymore.

Add py_mach_timebase_info() and win_perf_counter_frequency()
sub-functions.

bpo-42350: Fix Thread._reset_internal_locks() (GH-23268)

Fix the threading.Thread class at fork: do nothing if the thread is
already stopped (ex: fork called at Python exit). Previously, an
error was logged in the child process.

bpo-37205: time.perf_counter() and time.monotonic() are system-wide (GH-23284)

time.perf_counter() on Windows and time.monotonic() on macOS are now
system-wide. Previously, they used an offset computed at startup to
reduce the precision loss caused by the float type. Use
time.perf_counter_ns() and time.monotonic_ns() added in Python 3.7 to
avoid this precision loss.

bpo-42153 Fix link to IMAP documents in imaplib.rst (GH-23297)

The University of Washington stopped hosting the IMAP documents. Link to a rescued copy on GitHub.

bpo-42332: Add weakref slot to types.GenericAlias (GH-23250)

Automerge-Triggered-By: GH:gvanrossum

More updates to the descriptor howto guide (GH-23238)

bpo-42317: Improve docs of typing.get_args concerning Union (GH-23254)

bpo-42318: Fix support of non-BMP characters in Tkinter on macOS (GH-23281)

bpo-42351: Avoid error when opening header with non-UTF8 encoding (GH-23279)

grep_headers_for() would error out when a header contained
text that cannot be interpreted as UTF-8.

bpo-41832: Restore note about NULL in PyType_Slot.pfunc (GH-23243)