GH-103092: isolate `_ssl` (#104725)

gh-102856: Tokenize performance improvement (#104731)

gh-104683: clinic.py: Modernise `parse_converter()` using pattern-matching (#104696)

gh-104686: Fix tracing for decorated classes (#104708)

gh-104683: `clinic.py`: Improve coverage for the `parse_converter` method (#104729)

gh-98836: Extend PyUnicode_FromFormat() (GH-98838)

* Support for conversion specifiers o (octal) and X (uppercase hexadecimal).
* Support for length modifiers j (intmax_t) and t (ptrdiff_t).
* Length modifiers are now applied to all integer conversions.
* Support for wchar_t C strings (%ls and %lV).
* Support for variable width and precision (*).
* Support for flag - (left alignment).

gh-104050: Add more type annotations to Argument Clinic (#104631)

Annotate methods of the following classes:

- class Function
- class Parameter
- class LandMine

gh-104050: Add basic type hints to Argument Clinic clinic class (#104705)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104050: Annotate Argument Clinic return converters (#104706)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-103857: Document utcnow and utcfromtimestamp deprecations in What's New (#104542)

Co-authored-by: Paul Ganssle <1377457+pganssle@users.noreply.github.com>

gh-104719: IDLE - delete useless monkeypatch of tokenize (#104726)

gh-104719: Restore Tokenize module constants (#104722)

GH-101291: Add low level, unstable API for pylong (GH-101685)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

typing docs: Move some classes out of the "Generics" section (#104707)

- AnyStr can be used in type annotations, contrary to the section header
- Unpack can also be used in annotations, and its use is not restricted
  to generics. It makes more sense with other building blocks like Required.
- Protocol is not necessarily generic.

Also fix the indentation for two notes associated with Concatenate.

Split off from #104642, but I think this change is independently an
improvement.

gh-104717: Add comment about manual loop unrolling (gh-104718)

gh-86275: improve Hypothesis configuration for CI and local runs (#104468)

gh-103295: expose API for writing perf map files (#103546)

Co-authored-by: Aniket Panse <aniketpanse@fb.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>
Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-104469: Convert _testcapi/exceptions to use AC (gh-104502)

Corrected identifier (#104713)

gh-104698: Fix reference leak in mmapmodule.c (#104700)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-74690: Make a typing test more resilient (#104691)

gh-102856: Python tokenizer implementation for PEP 701 (#104323)

This commit replaces the Python implementation of the tokenize module with an implementation
that reuses the real C tokenizer via a private extension module. The tokenize module now implements
a compatibility layer that transforms tokens from the C tokenizer into Python tokenize tokens for backward
compatibility.

As the C tokenizer does not emit some tokens that the Python tokenizer provides (such as comments and non-semantic newlines), a new special mode has been added to the C tokenizer mode that currently is only used via
the extension module that exposes it to the Python layer. This new mode forces the C tokenizer to emit these new extra tokens and add the appropriate metadata that is needed to match the old Python implementation.

Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

gh-61460: Stronger HMAC in multiprocessing (#20380)

bpo-17258:  `multiprocessing` now supports stronger HMAC algorithms for inter-process connection authentication rather than only HMAC-MD5.

Signed-off-by: Christian Heimes <christian@python.org>
gpshead: I Reworked to be more robust while keeping the idea.

The protocol modification idea remains, but we now take advantage of the
message length as an indicator of legacy vs modern protocol version.  No
more regular expression usage.  We now default to HMAC-SHA256, but do so
in a way that will be compatible when communicating with older clients
or older servers. No protocol transition period is needed.

More integration tests to verify these claims remain true are required. I'm
unaware of anyone depending on multiprocessing connections between
different Python versions.

---------

Signed-off-by: Christian Heimes <christian@python.org>
Co-authored-by: Gregory P. Smith [Google] <greg@krypto.org>

gh-103606: raise RuntimeError if config file is invalid or empty (#104701)

(this adjusts new code) raise RuntimeError if provided config file is invalid or empty, not ValueError.

gh-104050: Add basic type hints to Argument Clinic DSL parser (#104704)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104683: Modernise Tools/clinic/ (#104684)

- Make some string interpolations more readable using f-strings or
  explicit parametrisation
- Remove unneeded open() mode specifiers

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-49174: document that the effect of calling gc.collect() during a collection is undefined (#104699)

gh-104372: Use non-Raw malloc for c_fds_to_keep in _posixsubprocess (#104697)

Use non-Raw malloc for c_fds_to_keep as the code could ask for 0 length.

gh-56276: Add tests to test_compare (#3199)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Oleg Iarygin <oleg@arhadthedev.net>

gh-104679 Fixed syntax highlighting in turtle docs (#104682)

gh-104658: Fix location of unclosed quote error for multiline f-strings (#104660)

gh-104683: Modernise `clinic.py` using `str.removeprefix` and `str.removesuffix` (#104685)

Both methods were new in Python 3.9.

gh-104146: Purge dead code from Argument Clinic (#104680)

The following local variables were assigned but never used:

- line 551:  result
- line 1341: groups
- line 1431: default_return_converter
- line 1529: ignore_self
- line 1809: input_checksum
- line 4224: new'

---

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104683: Argument clinic: use `dict` over `OrderedDict` (#104647)

For code readability. Instances of `builtins.dict` have been ordered since 3.6, and have been guaranteed by the language to be ordered since Python 3.7. Argument Clinic now requires Python 3.10+.

Replace "OS X" with "macOS" (#104653)

gh-103987: fix several crashes in mmap module (#103990)

Co-authored-by: sunmy2019 <59365878+sunmy2019@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

docs: fix wrong indentation causing rendering error in dis page (#104661)

gh-94906: Support multiple steps in math.nextafter (#103881)

This PR updates `math.nextafter` to add a new `steps` argument. The behaviour is as though `math.nextafter` had been called `steps` times in succession.

---------

Co-authored-by: Mark Dickinson <mdickinson@enthought.com>

gh-104472: Skip `test_subprocess.ProcessTestCase.test_empty_env` if ASAN is enabled (#104667)

Skip test_subprocess.ProcessTestCase.test_empty_env if ASAN is enabled.

gh-103839: Allow building Tkinter against Tcl 8.7 without external libtommath (GH-103842)

gh-85984: New additions and improvements to the tty library. (#101832)

New additions to the tty library. Functions added: cfmakeraw(), and cfmakecbreak(). The
functions setcbreak() and setraw() now return original termios to save an extra tcgetattr() call.

---------

Signed-off-by: Soumendra Ganguly <soumendraganguly@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

gh-104659: Consolidate python examples in enum documentation (#104665)

gh-92248: Deprecate `type`, `choices`, `metavar` parameters of `argparse.BooleanOptionalAction` (#103678)

Co-authored-by: Kirill <80244920+Eclips4@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Oleg Iarygin <oleg@arhadthedev.net>

gh-104645: fix error handling in marshal tests (#104646)

gh-104600: Make type.__type_params__ writable (#104634)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104602: Add additional test for listcomp with lambda (#104639)

This threw a SystemError before #104603. Adding a separate test
because this was a different failure mode than the other two new
tests from #104603, both of which used to segfault.

gh-104640: Disallow walrus in comprehension within type scopes (#104641)

gh-103921: Rename "type" header in argparse docs (#104654)

This allows :keyword:`type` to link to docs for the new `type`
statement (being written in gh-104642) instead of to this header
in the argparse docs.

Improve readability of `typing._ProtocolMeta.__instancecheck__` (#104649)

gh-96522: Fix deadlock in pty.spawn (#96639)

GH-102818: Do not call `PyTraceBack_Here` in sys.settrace trampoline.  (GH-104579)

GH-103545: Add macOS specific constants for ``os.setpriority`` to ``os`` (#104606)

This adds a number of PRIO_DARWIN_* constants to the os module for use with os.setpriority.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-104623: Update macOS installer to SQLite 3.42.0 (GH-104624)

gh-104619: never leak comprehension locals to outer locals() (#104637)

gh-104602: ensure all cellvars are known up front (#104603)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-104600: Make function.__type_params__ writable (#104601)

gh-74690: Don't set special protocol attributes on non-protocol subclasses of protocols (#104622)

Don't set special protocol attributes on non-protocol subclasses of protocols

gh-104623: Update Windows installer to use SQLite 3.42.0 (#104625)

gh-104050: Add more type annotations to Argument Clinic (#104628)

Annotate the following:

- methods of class Class
- methods of class Module
- methods of class PythonParser
- function compute_checksum()
- function parse_file()
- global variable unsupported_special_methods

gh-104629: Don't skip test_clinic if _testclinic is missing (#104630)

Just skip the tests that depend on the _testclinic extension module;
we can still run the Python tests.

gh-104549: Set __module__ on TypeAliasType (#104550)

gh-104050: Improve some typing around `default`s and sentinel values (#104626)

- Convert `unspecified` and `unknown` to be members of a `Sentinels` enum, rather than instances of bespoke classes.
  - An enum feels more idiomatic here, and works better with type checkers.
  - Convert some `==` and `!=` checks for these values to identity checks, which are more idiomatic with sentinels.
  - _Don't_ do the same for `Null`, as this needs to be a distinct type due to its usage in `clinic.py`.
- Use `object` as the annotation for `default` across `clinic.py`. `default` can be literally any object, so `object` is the correct annotation here.

---

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-104146: Remove unused vars from Argument Clinic (#104627)

Remove 'in_classes' and 'so_far' from DSLParser.directive_module()

gh-104615: don't make unsafe swaps in apply_static_swaps (#104620)

GH-104484: Add case_sensitive argument to `pathlib.PurePath.match()` (GH-104565)

Co-authored-by: Barney Gale <barney.gale@gmail.com>

GH-96803: Document and test new unstable internal frame API functions (GH-104211)

Weaken contract of PyUnstable_InterpreterFrame_GetCode to return PyObject*.

GH-104580: Don't cache eval breaker in interpreter (GH-104581)

Move eval-breaker to the front of the interpreter state.

gh-104374: Remove access to class scopes for inlined comprehensions (#104528)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-103606: Improve error message from logging.config.FileConfig (GH-103628)

gh-104499: Fix typo. (#104598)

gh-104499: IDLE - fix completions for tk aqua 8.7 (#104591)

gh-104340: Suppress warning about unawaited exception for closed pipe stdin (#104586)

gh-104555: Runtime-checkable protocols: Don't let previous calls to `isinstance()` influence whether `issubclass()` raises an exception (#104559)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-104050: Add type hints to Argument Clinic converter keywords (#104588)

Introduce TypeSet, and use it to annotate the 'accept' keyword of
various C converters. Also add some missing return annotations for
converter init functions.

gh-104496: IDLE - fix About for mixed tcl/tk versions (#104585)

Print both if they are different, as may happen in the future.

gh-104372: Cleanup _posixsubprocess `make_inheritable` for async signal safety and no GIL requirement (#104518)

Move all of the Python C API calls into the parent process up front
instead of doing PyLong_AsLong and PyErr_Occurred and PyTuple_GET from
the post-fork/vfork child process.

Much of this was long overdue. We shouldn't have been using PyTuple and
PyLong APIs within all of these low level functions anyways.

GH-101520: Move tracemalloc functionality into core, leaving interface in Modules. (#104508)

typing: Add more tests for TypeVar (#104571)

During the PEP 695 implementation at one point I made
TypeVar.__name__ return garbage, and all of test_typing passed.
So I decided to add a few more tests. In the process I discovered
a minor incompatibility from the C implementation of TypeVar:
empty constraints were returned as None instead of an empty tuple.

gh-104572: Improve error messages for invalid constructs in PEP 695 contexts (#104573)

typing: Use PEP 695 syntax in typing.py (#104553)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102153: Start stripping C0 control and space chars in `urlsplit` (#102508)

`urllib.parse.urlsplit` has already been respecting the WHATWG spec a bit #25595.

This adds more sanitizing to respect the "Remove any leading C0 control or space from input" [rule](https://url.spec.whatwg.org/#url-parsing:~:text=Remove%20any%20leading%20and%20trailing%20C0%20control%20or%20space%20from%20input.) in response to [CVE-2023-24329](https://nvd.nist.gov/vuln/detail/CVE-2023-24329).

---------

Co-authored-by: Gregory P. Smith [Google] <greg@krypto.org>

gh-104469: Update README.txt for _testcapi (gh-104529)

* gh-104469: Update README.txt for _testcapi

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

GH-103092: isolate `_elementtree` (#104561)

gh-104050: Add typing to Argument Clinic converters (#104547)

GH-103906: Remove immortal refcounting in the interpreter (GH-103909)

gh-87474: Fix file descriptor leaks in subprocess.Popen (#96351)

This fixes several ways file descriptors could be leaked from `subprocess.Popen` constructor during error conditions by opening them later and using a context manager "fds to close" registration scheme to ensure they get closed before returning.

---------

Co-authored-by: Gregory P. Smith [Google] <greg@krypto.org>

GH-103092: isolate `pyexpat`  (#104506)

gh-75367: Fix data descriptor detection in inspect.getattr_static (#104517)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-104050: Add more annotations to `Tools/clinic.py` (#104544)

gh-104555: Fix isinstance() and issubclass() for runtime-checkable protocols that use PEP 695 (#104556)

Fixes #104555

gh-103865: add monitoring support to LOAD_SUPER_ATTR (#103866)

CODEOWNERS: Assign new PEP 695 files to myself (#104551)

GH-104510: Fix refleaks in `_io` base types (#104516)

gh-104539: Fix indentation error in logging.config.rst (#104545)

Fix indentation error in logging.config.rst

gh-104050: Don't star-import 'types' in Argument Clinic (#104543)

gh-104050: Add basic typing to CConverter in clinic.py (#104538)

gh-64595: Fix write file logic in Argument Clinic (#104507)

Check if any clinic output actually changes any of the output files
before deciding if we should touch the source file.

gh-104523: Inline minimal PGO rules (#104524)

Inline profiling rules where the existing indirection was unneeded.

gh-103861: Fix Zip64 extensions not being properly applied in some cases (#103863)

Fix Zip64 extensions not being properly applied in some cases:

Fixes an issue where adding a small file to a `ZipFile`
object while forcing zip64 extensions causes an extra Zip64 record to be
added to the zip, but doesn't update the `min_version` or file sizes in
the primary central directory header.

Also fixed an edge case in checking if zip64 extensions are required:

This fixes an issue where if data requiring zip64 extensions was added
to an unseekable stream without specifying `force_zip64=True`, zip64
extensions would not be used and a RuntimeError would not be raised when
closing the file (even though the size would be known at that point).
This would result in successfully writing corrupt zip files.

Deciding if zip64 extensions are required outside of the `FileHeader`
function means that both `FileHeader` and `_ZipWriteFile` will always be
in sync. Previously, the `FileHeader` function could enable zip64
extensions without propagating that decision to the `_ZipWriteFile`
class, which would then not correctly write the data descriptor record
or check for errors on close.

If anyone is actually using `ZipInfo.FileHeader` as a public API without
explicitly passing True or False in for zip64, their own code may still be
susceptible to that kind of bug unless they make a similar change to
where the zip64 decision happens.

Fixes #103861

---------

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-69152: add method get_proxy_response_headers to HTTPConnection class (#104248)

Add http.client.HTTPConnection method get_proxy_response_headers() - this is a followup to https://github.com/python/cpython/pull/26152 which added it as a non-public attribute. This way we don't pre-compute a headers dictionary that most users will never access. The new method is properly public and documented and triggers full proxy header parsing into a dict only when actually called.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>