GH-65056: Improve the IP address' is_global/is_private documentation (GH-113186)

* GH-65056: Improve the IP address' is_global/is_private documentation

It wasn't clear what the semantics of is_global/is_private are and, when
one gets to the bottom of it, it's not quite so simple (hence the
exceptions listed).

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-115874: Don't use module state in teedataobject tp_dealloc (#116204)

Co-authored-by: Brandt Bucher <brandtbucher@microsoft.com>

gh-115538: Emit warning when use bool as fd in _io.WindowsConsoleIO (GH-116925)

CI: Pass environment variables directly to configure in JIT CI (#116156)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-116664: Ensure thread-safe dict access in _warnings (#116768)

Replace _PyDict_GetItemWithError() with PyDict_GetItemRef().

gh-116881: Remove erroneous or redundant grammar NULL (GH-116885)

In Lexical Analysis f-strings section, NULL in the description
of 'literal character' means '\0'.  In the format_spec grammar
production, it is wrong with that meaning and redundant if
instead interpreted as <nothing>.  Remove it there.

Bump GitHub Actions (#116944)

gh-116915: Make `_thread._ThreadHandle` support GC (#116934)

Even though it has no internal references to Python objects it still
has a reference to its type by virtue of being a heap type. We need
to provide a traverse function that visits the type, but we do not
need to provide a clear function.

gh-85283: Build _statistics extension with the limited C API (#116927)

Argument Clinic now inlines _PyArg_CheckPositional() for the limited
C API. The generated code should be as fast or even a little bit
faster.

GH-116377: Stop raising `ValueError` from `glob.translate()`. (#116378)

Stop raising `ValueError` from `glob.translate()` when a `**` sub-string
appears in a non-recursive pattern segment. This matches `glob.glob()`
behaviour.

gh-85283: Build termios extension with the limited C API (#116928)

gh-73468: Add math.fma() function (#116667)

Added new math.fma() function, wrapping C99's ``fma()`` operation:
fused multiply-add function.

Co-authored-by: Mark Dickinson <mdickinson@enthought.com>

GH-112536: Add more TSan tests (#116911)

These may all exercise some non-trivial aspects of thread synchronization.

gh-85287: Change codecs to raise precise UnicodeEncodeError and UnicodeDecodeError (#113674)

Co-authored-by: Inada Naoki <songofacandy@gmail.com>

Update titles and subtitles on landing page template (#116914)

* Update titles and subtitles on landing page template

* address review from gvanrossum

* Edits from hugovk review

* Change word order back. Down the road we should split license and history

gh-116809: Restore removed _PyErr_ChainExceptions1() function (#116900)

CI: Process stale issues four times per day (#116857)

gh-116879: Add new optimizer pystats to tables (GH-116880)

gh-112536: Add more TSAN tests (#116896)

---------

Co-authored-by: Antoine Pitrou <antoine@python.org>

gh-116851: Remove "from ctypes import *" from a ctypes example (GH-116852)

It is confusing, because libc is not imported from ctypes,
but defined in previous examples, which already contain the import.

gh-114271: Fix race in `Thread.join()` (#114839)

There is a race between when `Thread._tstate_lock` is released[^1] in `Thread._wait_for_tstate_lock()`
and when `Thread._stop()` asserts[^2] that it is unlocked. Consider the following execution
involving threads A, B, and C:

1. A starts.
2. B joins A, blocking on its `_tstate_lock`.
3. C joins A, blocking on its `_tstate_lock`.
4. A finishes and releases its `_tstate_lock`.
5. B acquires A's `_tstate_lock` in `_wait_for_tstate_lock()`, releases it, but is swapped
   out before calling `_stop()`.
6. C is scheduled, acquires A's `_tstate_lock` in `_wait_for_tstate_lock()` but is swapped
   out before releasing it.
7. B is scheduled, calls `_stop()`, which asserts that A's `_tstate_lock` is not held.
   However, C holds it, so the assertion fails.

The race can be reproduced[^3] by inserting sleeps at the appropriate points in
the threading code. To do so, run the `repro_join_race.py` from the linked repo.

There are two main parts to this PR:

1. `_tstate_lock` is replaced with an event that is attached to `PyThreadState`.
   The event is set by the runtime prior to the thread being cleared (in the same
   place that `_tstate_lock` was released). `Thread.join()` blocks waiting for the
   event to be set.
2. `_PyInterpreterState_WaitForThreads()` provides the ability to wait for all
   non-daemon threads to exit. To do so, an `is_daemon` predicate was added to
   `PyThreadState`. This field is set each time a thread is created. `threading._shutdown()`
   now calls into `_PyInterpreterState_WaitForThreads()` instead of waiting on
   `_tstate_lock`s.

[^1]: https://github.com/python/cpython/blob/441affc9e7f419ef0b68f734505fa2f79fe653c7/Lib/threading.py#L1201
[^2]: https://github.com/python/cpython/blob/441affc9e7f419ef0b68f734505fa2f79fe653c7/Lib/threading.py#L1115
[^3]: https://github.com/mpage/cpython/commit/81946532792f938cd6f6ab4c4ff92a4edf61314f

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Antoine Pitrou <antoine@python.org>

gh-112536: Add test_threading to TSAN tests (#116898)

gh-116484: Fix collisions between Checkbutton and ttk.Checkbutton default names (GH-116495)

Change automatically generated tkinter.Checkbutton widget names to
avoid collisions with automatically generated tkinter.ttk.Checkbutton
widget names within the same parent widget.

gh-116764: Fix regressions in urllib.parse.parse_qsl() (GH-116801)

* Restore support of None and other false values.
* Raise TypeError for non-zero integers and non-empty sequences.

The regressions were introduced in gh-74668
(bdba8ef42b15e651dc23374a08143cc2b4c4657d).

gh-90535: Fix support of interval>1 in logging.TimedRotatingFileHandler (GH-116220)

Fix support of interval values > 1 in logging.TimedRotatingFileHandler
for when='MIDNIGHT' and when='Wx'.

gh-112536: Add TSAN builds on Github Actions (#116872)

gh-116858: Add `@cpython_only` to several tests in `test_cmd_line` (#116859)

Minor kde() docstring nit: make presentation order match the function signature (#116876)

GH-115802: Reduce the size of _INIT_CALL_PY_EXACT_ARGS. (GH-116856)

gh-116868: Avoid locking in PyType_IsSubtype (#116829)

Make PyType_IsSubType not acquire lock

gh-112536: Add --tsan test for reasonable TSAN execution times. (gh-116601)

gh-116782: Mention `__type_params__` in `inspect.getmembers` docs (#116783)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-116621: Specialize list.extend for dict keys/values (gh-116816)

gh-116735: Use `MISSING` for `CALL` event if argument is absent (GH-116737)

gh-63283: IDNA prefix should be case insensitive (GH-17726)

Any capitalization of "xn--" should be acceptable for the ACE prefix
(see https://tools.ietf.org/html/rfc3490#section-5).

Co-authored-by: Pepijn de Vos <pepijndevos@gmail.com>
Co-authored-by: Erlend E. Aasland <erlend@python.org>
Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-111926: Simplify proxy creation logic (#116844)

Since 3.12, allocating a GC-able object cannot trigger GC. This allows
us to simplify the logic for creating the canonical callback-less
proxy object.

gh-111926: Simplify weakref creation logic (#116843)

Since 3.12, allocating a GC object cannot immediately trigger GC. This
allows us to simplify the logic for creating the canonical callback-less
weakref.

GH-116422: Modify a few uops so that they can be supported by tier 2 with hot/cold splitting (GH-116832)

gh-90095: Ignore empty lines and comments in `.pdbrc` (#116834)

gh-85283: Build pwd extension with the limited C API (#116841)

Argument Clinic now uses the PEP 737 "%T" format to format type name
for the limited C API.

gh-116842: Improve test comment and fix a doctest (gh-116846)

GH-113838: Add "Comparison to os.path" section to pathlib docs (#115926)

gh-116195: Implements a fast path for nt.getppid (GH-116205)

Use the NtQueryInformationProcess system call to efficiently retrieve the parent process ID in a single step, rather than using the process snapshots API which retrieves large amounts of unnecessary information and is more prone to failure (since it makes heap allocations).

Includes a fallback to the original win32_getppid implementation in case the unstable API appears to return strange results.

gh-111696, PEP 737: Add %T and %N to PyUnicode_FromFormat() (#116839)

gh-116811: Ensure MetadataPathFinder.invalidate_caches is reachable when delegated through PathFinder. (#116812)

* Make MetadataPathFinder a proper classmethod.

* In PathFinder.invalidate_caches, also invoke MetadataPathFinder.invalidate_caches.

* Add blurb

gh-106531: Refresh zipfile._path with zipp 3.18. (#116835)

* gh-106531: Refresh zipfile._path with zipp 3.18.

* Add blurb

Minor improvements to the itertools documentation (gh-116833)

gh-111696, PEP 737: Add PyType_GetModuleName() function (#116824)

Co-authored-by: Eric Snow <ericsnowcurrently@gmail.com>

gh-113317, AC: Add libclinic.converter module (#116821)

* Move CConverter class to a new libclinic.converter module.
* Move CRenderData and Include classes to a new libclinic.crenderdata
  module.

gh-112795: Move the test for ZipFile into the core tests for zipfile. (#116823)

Move the test for ZipFile into the core tests for zipfile.

GH-116422: Factor out eval breaker checks at end of calls into its own micro-op. (GH-116817)

gh-111696, PEP 737: Add PyType_GetFullyQualifiedName() function (#116815)

Rewrite tests on type names in Python, they were written in C.

gh-113317, AC: Add libclinic.block_parser module (#116819)

* Move Block and BlockParser classes to a new libclinic.block_parser
  module.
* Move Language and PythonLanguage classes to a new
  libclinic.language module.

gh-116731: libregrtest: Clear inspect & importlib.metadata caches in clear_caches (GH-116805)

Co-authored-by: Jason R. Coombs <jaraco@jaraco.com>

gh-88494: Use QueryPerformanceCounter() for time.monotonic() (#116781)

On Windows, time.monotonic() now uses the QueryPerformanceCounter()
clock to have a resolution better than 1 us, instead of the
gGetTickCount64() clock which has a resolution of 15.6 ms.

CI: Only test free-threading with faster macOS M1 (#116814)

Only test free-threading with faster macOS M1

gh-113317, AC: Add libclinic.function (#116807)

Move Module, Class, Function and Parameter classes to a new
libclinic.function module.

Move VersionTuple and Sentinels to libclinic.utils.

gh-116646, AC: Always use PyObject_AsFileDescriptor() in fildes (#116806)

The fildes converter of Argument Clinic now always call
PyObject_AsFileDescriptor(), not only for the limited C API.

The _PyLong_FileDescriptor_Converter() converter stays as a fallback
when PyObject_AsFileDescriptor() cannot be used.

gh-116646, AC: Add CConverter.use_converter() method (#116793)

Only add includes when the converter is effectively used.

gh-85283: Build fcntl extension with the limited C API (#116791)

gh-116780: Fix `test_inspect` in `-OO` mode (#116788)

gh-90300: Fix undocumented envvars in the Python CLI help (GH-116765)

gh-113308: Remove some internal parts of `uuid` module (#115934)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-116785: Fix direct invocation of `test_inspect` (#116787)

gh-116646: Add limited C API support to AC fildes converter (#116769)

Add tests on the "fildes" converter to _testclinic_limited.

gh-113317, AC: Move warn() and fail() to libclinic.errors (#116770)

GH-114736: Use WASI SDK 21 (GH-116771)

GH-115983: skip building shared modules for testing under WASI (GH-116528)

Docs: PyUnstable_Long_IsCompact() docs now mention PyLong_AsNativeBytes() (#116634)

Docs: fix spelling of the word 'transferring' (#116641)

gh-116760: Fix pystats for trace attempts (GH-116761)

There are now at least two bytecodes that may attempt to optimize,
JUMP_BACK, and more recently, COLD_EXIT.

Only the JUMP_BACK was counting the attempt in the stats.
This moves that counter to uop_optimize itself so it should
always happen no matter where it is called from.

gh-90300: Document equivalent -X options for envvars in the Python CLI help (GH-116756)

GH-115979: update test_importlib to work under WASI SDK 21 (GH-116754)

Better presentation order for recipes. (gh-116755)

gh-90300: Sort the -X options and some envvars in the Python CLI help (GH-116739)

gh-116631: Fix race condition in `test_shutdown_immediate_put_join` (#116670)

The test case had a race condition: if `q.task_done()` was executed
after `shutdown(immediate=True)`, then it would raise an exception
because the immediate shutdown already emptied the queue. This happened
rarely with the GIL (due to the switching interval), but frequently in
the free-threaded build.

gh-100746: Improve `test_named_expressions.py` (#116713)

gh-98731: Improvements to the logging documentation (GH-101618)

Co-authored-by: Vinay Sajip <vinay_sajip@yahoo.co.uk>

gh-116604: Fix test_gc on free-threaded build (#116662)

The free-threaded GC only does full collections, so it uses a threshold that
is a maximum of a fixed value (default 2000) and proportional to the number of
live objects. If there were many live objects after the previous collection,
then the threshold may be larger than 10,000 causing
`test_indirect_calls_with_gc_disabled` to fail.

This manually sets the threshold to `(1000, 0, 0)` for the test. The `0`
disables the proportional scaling.

[doc]: Update cookbook recipe for Qt6. (GH-116719)

gh-110918: Fix side effects of regrtest test_match_tests() (#116718)

test_match_tests now saves and restores patterns.

Add get_match_tests() function to libregrtest.filter.

Previously, running test_regrtest multiple times in a row only ran
tests once: "./python -m test test_regrtest -R 3:3.

gh-90300: Fix cmdline.rst (GH-116721)

* Fix the description of the "-b" option.
* Add references to environment variables for "-s" and "-X dev" options.

gh-115419: Change default sym to not_null (GH-116562)

gh-116714: Handle errors correctly in `PyFloat_GetInfo` (#116715)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-116401: Fix blocking os.fwalk() and shutil.rmtree() on opening a named pipe (GH-116421)

gh-116626: Emit `CALL` events for all `INSTRUMENTED_CALL_FUNCTION_EX` (GH-116627)

gh-96471: Add ShutDown to queue.py '__all__' (#116699)

Modernize roundrobin() recipe and improve variable names (gh-116710)

gh-116491: Improve `test_win32_ver` (#116506)

gh-115264: Fix `test_functools` with `-00` mode (#115276)

gh-111307: Update design FAQ 'switch' entry (#115899)

Docs: fix broken links (#116651)

Minor clarity improvement for the iter_index() recipe. Also add value subsequence tests. (gh-116696)

GH-116554: Relax list.sort()'s notion of "descending" runs (#116578)

* GH-116554: Relax list.sort()'s notion of "descending" run

Rewrote `count_run()` so that sub-runs of equal elements no longer end a descending run. Both ascending and descending runs can have arbitrarily many sub-runs of arbitrarily many equal elements now. This is tricky, because we only use ``<`` comparisons, so checking for equality doesn't come "for free". Surprisingly, it turned out there's a very cheap (one comparison) way to determine whether an ascending run consisted of all-equal elements. That sealed the deal.

In addition, after a descending run is reversed in-place, we now go on to see whether it can be extended by an ascending run that just happens to be adjacent. This succeeds in finding at least one additional element to append about half the time, and so appears to more than repay its cost (the savings come from getting to skip a binary search, when a short run is artificially forced to length MIINRUN later, for each new element `count_run()` can add to the initial run).

While these have been in the back of my mind for years, a question on StackOverflow pushed it to action:

https://stackoverflow.com/questions/78108792/

They were wondering why it took about 4x longer to sort a list like:

[999_999, 999_999, ..., 2, 2, 1, 1, 0, 0]

than "similar" lists. Of course that runs very much faster after this patch.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>

gh-116682: stdout may be empty in test_cancel_futures_wait_false (#116683)

If the `shutdown()` call happens before the worker thread starts executing
the task, then nothing will be printed to stdout.

Merge branch 'main' of https://github.com/python/cpython

Post 3.13.0a5

GH-116098: Remove dead frame object creation code (GH-116687)

Add `typing.NamedTuple` in glossary section for named tuples (#108327)

gh-116621: Set manual critical section for list.extend (gh-116657)