gh-104602: ensure all cellvars are known up front (#104603)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-104600: Make function.__type_params__ writable (#104601)

gh-74690: Don't set special protocol attributes on non-protocol subclasses of protocols (#104622)

Don't set special protocol attributes on non-protocol subclasses of protocols

gh-104623: Update Windows installer to use SQLite 3.42.0 (#104625)

gh-104050: Add more type annotations to Argument Clinic (#104628)

Annotate the following:

- methods of class Class
- methods of class Module
- methods of class PythonParser
- function compute_checksum()
- function parse_file()
- global variable unsupported_special_methods

gh-104629: Don't skip test_clinic if _testclinic is missing (#104630)

Just skip the tests that depend on the _testclinic extension module;
we can still run the Python tests.

gh-104549: Set __module__ on TypeAliasType (#104550)

gh-104050: Improve some typing around `default`s and sentinel values (#104626)

- Convert `unspecified` and `unknown` to be members of a `Sentinels` enum, rather than instances of bespoke classes.
  - An enum feels more idiomatic here, and works better with type checkers.
  - Convert some `==` and `!=` checks for these values to identity checks, which are more idiomatic with sentinels.
  - _Don't_ do the same for `Null`, as this needs to be a distinct type due to its usage in `clinic.py`.
- Use `object` as the annotation for `default` across `clinic.py`. `default` can be literally any object, so `object` is the correct annotation here.

---

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-104146: Remove unused vars from Argument Clinic (#104627)

Remove 'in_classes' and 'so_far' from DSLParser.directive_module()

gh-104615: don't make unsafe swaps in apply_static_swaps (#104620)

GH-104484: Add case_sensitive argument to `pathlib.PurePath.match()` (GH-104565)

Co-authored-by: Barney Gale <barney.gale@gmail.com>

GH-96803: Document and test new unstable internal frame API functions (GH-104211)

Weaken contract of PyUnstable_InterpreterFrame_GetCode to return PyObject*.

GH-104580: Don't cache eval breaker in interpreter (GH-104581)

Move eval-breaker to the front of the interpreter state.

gh-104374: Remove access to class scopes for inlined comprehensions (#104528)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-103606: Improve error message from logging.config.FileConfig (GH-103628)

gh-104499: Fix typo. (#104598)

gh-104499: IDLE - fix completions for tk aqua 8.7 (#104591)

gh-104340: Suppress warning about unawaited exception for closed pipe stdin (#104586)

gh-104555: Runtime-checkable protocols: Don't let previous calls to `isinstance()` influence whether `issubclass()` raises an exception (#104559)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-104050: Add type hints to Argument Clinic converter keywords (#104588)

Introduce TypeSet, and use it to annotate the 'accept' keyword of
various C converters. Also add some missing return annotations for
converter init functions.

gh-104496: IDLE - fix About for mixed tcl/tk versions (#104585)

Print both if they are different, as may happen in the future.

gh-104372: Cleanup _posixsubprocess `make_inheritable` for async signal safety and no GIL requirement (#104518)

Move all of the Python C API calls into the parent process up front
instead of doing PyLong_AsLong and PyErr_Occurred and PyTuple_GET from
the post-fork/vfork child process.

Much of this was long overdue. We shouldn't have been using PyTuple and
PyLong APIs within all of these low level functions anyways.

GH-101520: Move tracemalloc functionality into core, leaving interface in Modules. (#104508)

typing: Add more tests for TypeVar (#104571)

During the PEP 695 implementation at one point I made
TypeVar.__name__ return garbage, and all of test_typing passed.
So I decided to add a few more tests. In the process I discovered
a minor incompatibility from the C implementation of TypeVar:
empty constraints were returned as None instead of an empty tuple.

gh-104572: Improve error messages for invalid constructs in PEP 695 contexts (#104573)

typing: Use PEP 695 syntax in typing.py (#104553)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102153: Start stripping C0 control and space chars in `urlsplit` (#102508)

`urllib.parse.urlsplit` has already been respecting the WHATWG spec a bit #25595.

This adds more sanitizing to respect the "Remove any leading C0 control or space from input" [rule](https://url.spec.whatwg.org/#url-parsing:~:text=Remove%20any%20leading%20and%20trailing%20C0%20control%20or%20space%20from%20input.) in response to [CVE-2023-24329](https://nvd.nist.gov/vuln/detail/CVE-2023-24329).

---------

Co-authored-by: Gregory P. Smith [Google] <greg@krypto.org>

gh-104469: Update README.txt for _testcapi (gh-104529)

* gh-104469: Update README.txt for _testcapi

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

GH-103092: isolate `_elementtree` (#104561)

gh-104050: Add typing to Argument Clinic converters (#104547)

GH-103906: Remove immortal refcounting in the interpreter (GH-103909)

gh-87474: Fix file descriptor leaks in subprocess.Popen (#96351)

This fixes several ways file descriptors could be leaked from `subprocess.Popen` constructor during error conditions by opening them later and using a context manager "fds to close" registration scheme to ensure they get closed before returning.

---------

Co-authored-by: Gregory P. Smith [Google] <greg@krypto.org>

GH-103092: isolate `pyexpat`  (#104506)

gh-75367: Fix data descriptor detection in inspect.getattr_static (#104517)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-104050: Add more annotations to `Tools/clinic.py` (#104544)

gh-104555: Fix isinstance() and issubclass() for runtime-checkable protocols that use PEP 695 (#104556)

Fixes #104555

gh-103865: add monitoring support to LOAD_SUPER_ATTR (#103866)

CODEOWNERS: Assign new PEP 695 files to myself (#104551)

GH-104510: Fix refleaks in `_io` base types (#104516)

gh-104539: Fix indentation error in logging.config.rst (#104545)

Fix indentation error in logging.config.rst

gh-104050: Don't star-import 'types' in Argument Clinic (#104543)

gh-104050: Add basic typing to CConverter in clinic.py (#104538)

gh-64595: Fix write file logic in Argument Clinic (#104507)

Check if any clinic output actually changes any of the output files
before deciding if we should touch the source file.

gh-104523: Inline minimal PGO rules (#104524)

Inline profiling rules where the existing indirection was unneeded.

gh-103861: Fix Zip64 extensions not being properly applied in some cases (#103863)

Fix Zip64 extensions not being properly applied in some cases:

Fixes an issue where adding a small file to a `ZipFile`
object while forcing zip64 extensions causes an extra Zip64 record to be
added to the zip, but doesn't update the `min_version` or file sizes in
the primary central directory header.

Also fixed an edge case in checking if zip64 extensions are required:

This fixes an issue where if data requiring zip64 extensions was added
to an unseekable stream without specifying `force_zip64=True`, zip64
extensions would not be used and a RuntimeError would not be raised when
closing the file (even though the size would be known at that point).
This would result in successfully writing corrupt zip files.

Deciding if zip64 extensions are required outside of the `FileHeader`
function means that both `FileHeader` and `_ZipWriteFile` will always be
in sync. Previously, the `FileHeader` function could enable zip64
extensions without propagating that decision to the `_ZipWriteFile`
class, which would then not correctly write the data descriptor record
or check for errors on close.

If anyone is actually using `ZipInfo.FileHeader` as a public API without
explicitly passing True or False in for zip64, their own code may still be
susceptible to that kind of bug unless they make a similar change to
where the zip64 decision happens.

Fixes #103861

---------

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-69152: add method get_proxy_response_headers to HTTPConnection class (#104248)

Add http.client.HTTPConnection method get_proxy_response_headers() - this is a followup to https://github.com/python/cpython/pull/26152 which added it as a non-public attribute. This way we don't pre-compute a headers dictionary that most users will never access. The new method is properly public and documented and triggers full proxy header parsing into a dict only when actually called.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-103763: Implement PEP 695 (#103764)

This implements PEP 695, Type Parameter Syntax. It adds support for:

- Generic functions (def func[T](): ...)
- Generic classes (class X[T](): ...)
- Type aliases (type X = ...)
- New scoping when the new syntax is used within a class body
- Compiler and interpreter changes to support the new syntax and scoping rules

Co-authored-by: Marc Mueller <30130371+cdce8p@users.noreply.github.com>
Co-authored-by: Eric Traut <eric@traut.com>
Co-authored-by: Larry Hastings <larry@hastings.org>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104461: Run tkinter test_configure_screen on X11 only (GH-104462)

gh-104469: Convert _testcapi/watchers.c to use Argument Clinic (#104503)

Remove boilerplate code by converting the following functions:

- _testcapi.watch_dict
- _testcapi.unwatch_dict
- _testcapi.watch_type
- _testcapi.unwatch_type
- _testcapi.set_func_defaults_via_capi
- _testcapi.set_func_kwdefaults_via_capi

gh-104482: Fix error handling bugs in ast.c (#104483)

gh-104341: Adjust tstate_must_exit() to Respect Interpreter Finalization (gh-104437)

With the move to a per-interpreter GIL, this check slipped through the cracks.

GH-102613: Fix recursion error from `pathlib.Path.glob()` (GH-104373)

Use `Path.walk()` to implement the recursive wildcard `**`. This method
uses an iterative (rather than recursive) walk - see GH-100282.

gh-101819: Fix _io clinic input for unused base class method stubs (#104418)

When preparing the _io extension module for isolation, many methods were
adapted to Argument Clinic. Some of these used the '*args: object'
signature, which is incorrect. These are now corrected to an exact
signature, and marked unused, since they are stub methods.

gh-101819: Isolate `_io` (#101948)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

Bump mypy from 1.2.0 to 1.3.0 in /Tools/clinic (#104501)

build(deps-dev): bump mypy from 1.2.0 to 1.3.0 in /Tools/clinic

Bumps [mypy](https://github.com/python/mypy) from 1.2.0 to 1.3.0.
- [Commits](https://github.com/python/mypy/compare/v1.2.0...v1.3.0)

---
updated-dependencies:
- dependency-name: mypy
  dependency-type: direct:development
  update-type: version-update:semver-minor
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

gh-104494: Update certain Tkinter pack/place tests for Tk 8.7 errors (#104495)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-104050: Run mypy on `clinic.py` in CI (#104421)

* Add basic mypy workflow to CI
* Make the type check pass

---------

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Nikita Sobolev <mail@sobolevn.me>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-104490: Consistently define phony make targets (#104491)

By convention make targets that don't refer to a file have a dependency
on the fake .PHONY target/file. This ensures that these targets are
always evaluated because there is no rule to create a .PHONY file
and that will force make to think the rule is out of date and needs
to be rebuilt.

This commit consistently associates virtual targets with .PHONY by
declaring the .PHONY dependency immediately above the make rule. This
should avoid race conditions and avoidable rebuilds across multiple make
invocations.

gh-67056: document that registering/unregistering an atexit func from within an atexit func is undefined (#104473)

gh-104487: PYTHON_FOR_REGEN must be minimum Python 3.10 (#104488)

Also include Python 3.12 in the list of accepted versions.

gh-101282: move BOLT config after PGO (gh-104493)

gh-104469 Convert _testcapi/float.c to use AC (gh-104470)

gh-104456: Fix ref leak in _ctypes.COMError (#104457)

gh-98539: Make _SSLTransportProtocol.abort() safe to call when closed (#104474)

 gh-104337: Clarify random.gammavariate doc entry  (#104410)

* gh-104337: Clarify random.gammavariate doc entry

* Fix parameter markup.

Minor improvements to typing docs (#104465)

gh-87092: avoid gcc warning on uninitialized struct field in assemble.c (#104460)

GH-71383: IDLE - Document testing subsets of modules (#104463)

gh-104454: Fix refleak in AttributeError_reduce (#104455)

* Fix the reference leak introduced by https://github.com/python/cpython/issues/103333

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

gh-75710: IDLE - add docstrings and comments to editor module (#104446)

Commit extracted from PR #3669.  Will edit more later.

Co-authored-by: Cheryl Sabella <cheryl.sabella@gmail.com>

gh-91896: Revert some very noisy DeprecationWarnings for `ByteString` (#104424)

Add a mention of PYTHONBREAKPOINT to breakpoint() docs (#104430)

 gh-99836: IDLE - update news.txt for 3.12  (#104444)

* gh-99836: IDLE 3.12 news.txt

* gh-99836: IDLE - update news.txt for 3.12

gh-104404: fix crasher with nested comprehensions plus lambdas (#104442)

GH-104405: Add missing PEP 523 checks (GH-104406)

GH-94841: Fix usage of Py_ALWAYS_INLINE (GH-104409)

gh-103333: Pickle the keyword attributes of AttributeError (#103352)

* Pickle the `name` and `args` attributes of AttributeError when present.

Co-authored-by: Gregory P. Smith <greg@krypto.org>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-103204: `http.server` - Enforce that HTTP version numbers must consist only of digits (#103205)

Reject HTTP requests with invalid http/x.y version numbers: x or y being non-digits or too-long.

---------

Co-authored-by: Oleg Iarygin <oleg@arhadthedev.net>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-103857: Update deprecation stacktrace to point to calling line (#104431)

GH-86275: Run hypothesis tests in parallel (#104427)

Run hypothesis tests in parallel

gh-86275: Fix install of new _hypothesis_stubs directory (#104425)

gh-91896: Fixup some docs issues following ByteString deprecation (#104422)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-104371: check return value of calling `mv.release` (#104417)

gh-104415: Fix refleak tests for `typing.ByteString` deprecation (#104416)

GH-86275: Implementation of hypothesis stubs for property-based tests, with zoneinfo tests (#22863)

These are stubs to be used for adding hypothesis (https://hypothesis.readthedocs.io/en/latest/) tests to the standard library.

When the tests are run in an environment where `hypothesis` and its various dependencies are not installed, the stubs will turn any tests with examples into simple parameterized tests and any tests without examples are skipped.

It also adds hypothesis tests for the `zoneinfo` module, and a Github Actions workflow to run the hypothesis tests as a non-required CI job.

The full hypothesis interface is not stubbed out — missing stubs can be added as necessary.

Co-authored-by: Zac Hatfield-Dodds <zac.hatfield.dodds@gmail.com>

GH-103082: Filter LINE events in VM, to simplify tool implementation. (GH-104387)

When monitoring LINE events, instrument all instructions that can have a predecessor on a different line.
Then check that the a new line has been hit in the instrumentation code.
This brings the behavior closer to that of 3.11, simplifying implementation and porting of tools.

gh-93649: Split gc- and allocation tests from _testcapimodule.c (GH-104403)

gh-104389: Add 'unused' keyword to Argument Clinic C converters (#104390)

Use the unused keyword param in the converter to explicitly
mark an argument as unused:

    /*[clinic input]
    SomeBaseClass.stubmethod
        flag: bool(unused=True)
    [clinic start generated code]*/

gh-101819: Prepare _io._IOBase for module state (#104386)

- Add PyIOBase_Type to _io module state
- Pass defining class to _io._IOBase.fileno

gh-104413: Fix refleak when super attribute throws AttributeError (#104414)

Fix refleak in `super_descr_get` (#104408)

gh-87526: Remove dead initialization from _zoneinfo parse_abbr() (#24700)

gh-91896: Improve visibility of `ByteString` deprecation warnings (#104294)

gh-104371: Fix calls to `__release_buffer__` while an exception is active (#104378)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

gh-104377: fix cell in comprehension that is free in outer scope (#104394)

gh-104392: Remove _paramspec_tvars from typing (#104393)

This does nothing.

gh-104396: uuid.py to skip platform check for emscripten and wasi (gh-104397)

gh-99108: Refresh HACL* from upstream (#104401)

Refresh HACL* from upstream and add a SHA3 test hashing over 4GiB of data.

gh-104301: Allow leading whitespace in disambiguated pdb statements (#104342)

gh-104057: Fix direct invocation of test_support (GH-104069)