gh-126631: gh-137996: fix pre-loading of `__main__` (GH-135295)

gh-126631: gh-137996: fix pre-loading of `__main__`

The `main_path` parameter was renamed `init_main_from_name`, update the
forkserver code accordingly.  This was leading to slower startup times when people
were trying to preload the main module.

---------

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-118981: multiprocessing.popen_spawn_posix, fix potential hang (gh-118982)

fix potential hang.

It can happen that the child crashes right in the beginning for whatever reason. In this case, the parent will hang when writing into the pipe, because the child fd is not closed yet.

The normal pattern is to close the child fds right after the child proc is forked/executed/spawned, so when the child dies, then also the pipes will be closed, and there will be no hang (the parent gets SIGPIPE instead).

Docs: Fix typo in `random_derangement` recipe (GH-138599)

gh-90548: Skip NODEV portion of test_makedev when linked to musl (GH-138593)

gh-90548: Skip ctypes test_null_dlsym when linked to musl (GH-138592)

The test relies on glibc-specific behavior.

gh-90548: Allow Alpine/MUSL to pass test_c_locale_coercion. (GH-134454)

Like cygwin, MUSL defaults to utf-8 if no variables are set.  I have no
idea if the existing tests pass on cygwin, but I made the modifications
such that I shouldn't break it if is.  The additional checks needed for
MUSL are guarded by DEFAULT_LOCALE_IS_C being False.  Based on this
flag, we expect utf-8 for the encodings and no coercion message, as
long as LC_ALL is not set to C.  (That looks like a bit of an issue with
the test structure, but I'm not going to attempt to "fix" that.)
DEFAULT_ENCODING is intentionally not given a default since it is only
used when DEFAULT_LOCALE_IS_C is False, and if you use the flag you'll
need to set it.

After reading through issue 30672, looking at the source, and running a
test on Android, I *think* the current situation is that coercion will
be done if the local is set to POSIX regardless of platform.  However,
if the platform doesn't make POSIX equivalent to C, the encodings when
coercion is disabled will not be the same as for C (it is utf-8 on
android, for example).  This means the tests would fail if POSIX were
added unconditionally to the EXPECTED_C_LOCALE_EQUIVALENTS as envisioned
in the issue.  This *could* be fixed with another flag, but I'm not sure
it is worth the effort.  I'm not even sure Python is behaving optimally
in this case (assuming my analysis is correct).  So I just altered the
comment and add POSIX if and only if the platform is linux.

fix comment reference from man 7 signal to man 7 signal-safety (#138554)

docs: fix comment reference from man 7 signal to man 7 signal-safety

gh-138205: Remove the `resize` method on `mmap` object on platforms don't support it (#138276)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-116738: make `cProfile` module thread-safe (#138229)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-137706: make typing._is_unpacked_typevartuple check for `True` instead of truthy (#137712)

GH-95952: Require setting `HOSTRUNNER` when cross compiling for WASI (#138203)

macOS by default doesn't have the requisite CLI tools to make a default value easy. Plus Tools/wasm/wasi takes care of setting HOSTRUNNER.

gh-93334: Fix homonym edge case in PathFinder.find_spec() (GH-98100)

gh-137985: Correct description of Formatter's datefmt param in logging documentation (GH-138530)

gh-138010: Fix `__init_subclass__` forwarding by `warnings.deprecated` (#138210)

GH-138465: Improve documentation for common sequence methods (#138474)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-138191: Document ``frame.f_generator`` in the data model (#138540)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-88375, gh-111788: Fix parsing errors and normalization in robotparser (GH-138502)

* Don't fail trying to parse weird patterns.
* Don't fail trying to decode non-UTF-8 "robots.txt" files.
* No longer ignore trailing "?" in patterns and URLs.
* Distinguish raw special characters "?", "=" and "&" from the
  percent-encoded ones.
* Remove tests that do nothing.

gh-83424: Allow empty name if handle is non-null when create ctypes.CDLL on Windows (GH-136878)

annotationlib: add note on security to docs (#138508)

gh-137210: Add a struct, slot & function for checking an extension's ABI (GH-137212)

Co-authored-by: Steve Dower <steve.dower@microsoft.com>

gh-57911: Sanitize symlink targets in tarfile on win32 (GH-138309)

gh-131178: Fix `test_unknown_flag` for platform CLI (#137816)

gh-138401: Check arg count>=0 in os.sendfile() (#138403)

Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-138515: Include email module in Emscripten build (gh-138520)

gh-107194: Improved language of list.index in tutorial (gh-138518)

gh-138516: fix typo in OrderedDict exception msg (#138517)

docs: add module-level `versionadded` for `annotationlib` (#138511)

gh-138192: Fix Context initialization so that all subinterpreters are assigned the MISSING value. (gh-138503)

---------

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>

gh-87595: Fix the docs for mmap.size() (#138494)

Correct some parts of the docs added in 32032ee376 that weren't
written by me.

Add random_derangement recipe gh-138377

Docs: Fix typo in `os.fwalk()` example (GH-138486)

gh-136599: Improve long_hash() (#136600)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-132657: improve `deepcopy` and `copy` scaling on free-threading (#138429)

gh-138281: Remove unused `topsort` and bump minimal version in `peg_generator` (#138487)

gh-95844: Move help_url code to a help module function (#129971)

---------

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

GH-101100: Resolve reference warnings in whatsnew/3.10.rst (#138408)

Fix Windows path in `venv` docs (GH-138476)

gh-72249: Correct wording of GH-101910 blurb (GH-138468)

This incidentally corrects a reST issue reported by Daniel Nylander from the Swedish translation.

gh-138431: JIT Optimizer --- Fix round-tripping references for str and tuple (GH-138458)

Co-authored-by: Mark Shannon <9448417+markshannon@users.noreply.github.com>

gh-138281: Run `ruff` on `Tools/peg_generator` (#138282)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

GH-101100: Resolve reference warnings in using/windows.rst (#138416)

GH-101100: Resolve reference warnings in whatsnew/3.5.rst (#138412)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-135676: Reword the Operators & Delimiters section(s) (GH-137713)

Co-authored-by: Blaise Pabon <blaise@gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

GH-101100: Resolve reference warnings in whatsnew/3.6.rst (#138411)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-137136: Suppress build warnings when build on Windows with --experimental-jit-interpreter (GH-137137)

gh-91214: Skip tests failing on Solaris (GH-31978)

GH-101100: Resolve reference warnings in extending/extending.rst (#138417)

Docs: Fix typo in test.support.linked_to_musl function name (#138406)

gh-60462: Fix locale.strxfrm() on Solaris (GH-138242)

It should interpret the result of wcsxfrm() as a sequence of abstract
integers, not a sequence of Unicode code points or using other encoding
scheme that does not preserve ordering.

GH-101100: Resolve reference warnings in whatsnew/3.4.rst (#138413)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

GH-119169: Slightly speed up `os.walk(topdown=True)` (GH-121431)

GH-119186: Slightly speed up `os.walk(topdown=True)`

When `os.walk()` traverses into subdirectories in top-down mode, call
`os.path.join()` once to add a trailing slash, and use string concatenation
thereafter to generate child paths.

GH-101100: Resolve reference warnings in whatsnew/2.7.rst (#138415)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-138307: Update the Ellipsis documentation (#138306)

* Doc: Change Ellipsis doc at library/constants

* Doc: Change Ellipsis doc at library/stdtypes

* Doc: Add NumPy reference into Ellipsis doc at library/stdtypes

* Doc: Add Ellipsis reference into the pass statement section at tutorial

* Doc: Update Ellipsis doc concerns assignments at library/constants

* Update Doc/library/stdtypes.rst

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
* Doc: Fix grammar on Ellipsis docs (library/constants.rst)

Co-authored-by: Éric <merwok@netwok.org>
* Doc: Fix grammar on Ellipsis docs (library/stdtypes.rst)

Co-authored-by: Éric <merwok@netwok.org>
* Doc: Fix grammar on Ellipsis docs (library/stdtypes.rst)

Co-authored-by: Éric <merwok@netwok.org>
* Doc: Remove pretty printers reference from Ellipsis doc at library/stdtypes

* Doc: Update index concerns Ellipsis object and pass statement

* Doc: Improve Ellipsis doc at library/constants

* Doc: Improve Ellipsis doc at library/stdtypes

* Doc: Change the "..." glossary entry to mention the Ellipsis object

* Doc: Some improvements concern ellipsis into typing doc

* Minor update Doc/tutorial/controlflow.rst

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>
* Update Doc/library/constants.rst

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>
* Update Doc/library/stdtypes.rst

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>
---------

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Éric <merwok@netwok.org>
Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>

GH-101100: Resolve reference warnings in whatsnew/3.8.rst (#138409)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

GH-101100: Resolve reference warnings in whatsnew/3.3.rst (#138414)

GH-123299: Copyedit 3.14 What's New: Move and consolidate Porting (#138400)

gh-138013: Remove `test_io` load_tests namespace manipulation (#138366)

Reduce what happens in `load_tests` so that the next change,
moving the `Buffered*` tests to `test_bufferdio` is purely mechanical
movement and updating imports.

This adds two classes, one per I/O implementation, to act as dispatch to
the implementation-specific mocks as well as module members. Previously
the mappings CTestCase and PyTestCase provide were injected directly
during `load_tests`.

CTestCase and PyTestCase inherit from `unittest.TestCase` so when the
split happens default test discovery will work for the classes in
`test_bufferedio`. `test_general` keeps a manual test list for this
refactoring; some of the tests (ex. `ProtocolsTest`) aren't currently
run and fixing that + helpers to not be picked up is out of my current
scope.

CTestCase and PyTestCase have an `io` class member which points to the
implementation meaning that can be removed from individual test cases
which now inherit from them.

This code is picking up `MockRawIO` which is defined globally in the
module but these should use the mock specific to the I/O implementation
being tested.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-138013: Move I/O tests to test_io (#138365)

Centralize `io` tests into the `test_io` module so they are easier to
find and work on. This will make it easier to split `test_general` which
takes 30+ seconds in a debug build on my machine.

This renames `test_bufio` to be `test_bufferedio` so that it matches
the implementation file name (`bufferedio.c`).

Validation performed:
Tests are run in parallel after change:

```bash
./python.exe -m test test_io  -uall,largefile,extralargefile -M12G -j8
```

Docstring reformat in `test_io/__init__.py` looks reasonable:

```python
>>> import test.test_io
>>> help(test.test_io)
```

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-78502: Add a trackfd parameter to mmap.mmap() on Windows (GH-138238)

If trackfd is False, the file handle corresponding to fileno
will not be duplicated.

gh-138264: Fix gcc 14 compiler warnings (GH-138265)

gh-116946: fully implement GC protocol for `_curses_panel.panel` (#138333)

This commit fixes possible reference loops via `panel.set_userptr`
by implementing `tp_clear` and `tp_traverse` for panel objects.

gh-116946: add `Py_TPFLAGS_IMMUTABLETYPE` to `_random.Random` (#138341)

GH-101100: Resolve reference warnings in whatsnew/3.7.rst (#138410)

Resolve reference warnings in whatsnew/3.7.rst

gh-101100: Resolve reference warnings in library/xml.sax.handler.rst (#136612)

GH-135763: AC: Use ``Py_ssize_t(allow_negative=False)`` (#138394)

gh-87595: Support mmap.size() for anonymous mapping on Unix (GH-24781)

Previously, the size would be returned on Windows and an OSError would
be raised on Unix.

Also, raise ValueError instead of OSError for trackfd=False.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Doc: Track file downloads via plausible (#138393)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-116946: add `Py_TPFLAGS_IMMUTABLETYPE` to `select.poll` and `select.epoll` (#138340)

gh-138372: Fix SyntaxWarning for erroneous t-string subscription (#138375)

gh-138314: Add winreg.DeleteTree (GH-138388)

gh-138122: Use ``profiling.sampling`` in the documentation (PEP 799) (#138389)

gh-136599: Add tests for long_hash (#138335)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>

gh-138204: Forbid expansion of a shared anonymous mmap on Linux (GH-138220)

This is a Linux kernel bug which caused a bus error.
https://bugzilla.kernel.org/show_bug.cgi?id=8691

gh-138004: Fix setting a thread name on OpenIndiana (GH-138017)

Encode Solaris/Illumos thread names to ASCII, since
OpenIndiana does not support non-ASCII names.

Add tests for setting non-ASCII name for the main thread.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-138297 Point link in docs for `finally` to try/else, instead of if/else (#138298)

Co-authored-by: Brian Schubert <brianm.schubert@gmail.com>
Co-authored-by: Adam Turner <9087854+aa-turner@users.noreply.github.com>

gh-127647: Fix and enable I/O protocol tests (#138369)

gh-133158: Adjust c-analyzer `max_sizes` for `typeobject.c` (GH-133159)

This also improves the error message for when a file is too large.

gh-110936: Reorder string literal definition in Lexical Analysis (GH-138063)

gh-138253: Fix compatibility of sub-interpreters queues with queue.Queue (GH-138256)

Add the block parameter in the put() and get() methods of
the concurrent.interpreters queues for compatibility with the
queue.Queue interface.

gh-61206: Support zstandard compression in the zipimport module (GH-138254)

* gh-61206: support zstd in zipimport

* NEWS entry

* versionchanged doc

gh-135763: AC: Implement ``allow_negative`` for ``Py_ssize_t`` (#138150)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-138360: Fix `test_free_threading` for IO objects (#138359)

Fix typo in test_io.py

gh-135755: Make Py_MAX_SCRIPT_PATH_SIZE private (#138350)

gh-89905: Correct `-R` option doc (#137608)

gh-138302: Specialize int ops only if ints are compact (GH-138347)

gh-90548: Fix musl version detection with --strip-all (#137864)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-138342: Use a common utility for visiting an object's type (GH-138343)

Add `_PyObject_VisitType` in place of `tp_traverse` functions that only visit the object's type.

gh-116738: Fix `test_json_mutating_exact_dict` (#138339)

Fix test_json_mutating_exact_dic

gh-54874: Expand unicodedata module documentation (#138301)

Closes #54874

Co-authored-by: Alexander Belopolsky <abalkin@users.noreply.github.com>

gh-116946: Revert GC protocol for immutable empty heap types (GH-138266, GH-138288, GH-138289) (#138338)

* Revert "gh-116946: fully implement GC protocol for `bz2` objects (#138266)"

This reverts commit 9be91f6a20ed2fd9b491c3e779dc45c7392f60ca.

* Revert "gh-116946: fully implement GC protocol for `lzma` objects (#138288)"

This reverts commit 3ea16f990f81e1e3b2892f1dfd213937b1df2a68.

* Revert "gh-116946: fully implement GC protocol for `_hashlib` objects (#138289)"

This reverts commit 6f1dd9551a69c8c76d066a04e94db6dbc6c7597c.

Reapply "gh-132947: Apply changes from importlib_metadata 8.7 (#137885)" (#137924) (#137930)

* Reapply "gh-132947: Apply changes from importlib_metadata 8.7 (#137885)" (#137924)

This reverts commit 3706ef66eff2b9e24091dbe050f5dbc60785b481.

* Skip the triggering test on buildbots only.

gh-116946: fully implement GC protocol for `zlib` objects (#138290)

gh-116946: fully implement GC protocol for `_hashlib` objects (#138289)

gh-116946: fully implement GC protocol for `lzma` objects (#138288)

gh-116946: fully implement GC protocol for `bz2` objects (#138266)

gh-138130: Fix return value of libc_ver() on Emscripten (#138132)

Emscripten's libc is a hybrid of musl and llvm libc; but it reports that it is
"glibc". This modifies the return value of `platform.libc_ver()` to return
something that is Emscripten-specific.

gh-138286: Run ``ruff`` on ``Tools/i18n`` (#138287)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Tomas R. <tomas.roun8@gmail.com>

gh-138013: Make ``test.test_io`` into a package (#138153)

gh-138295: Fix a grammar issue in the descriptor HOWTO (GH-138296)

"an str" -> "a str"

gh-138279: Remove unused attr in RuleCollectorVisitor in parser_generator.py (#138280)