gh-89554: Document typing.ParamSpecArgs and ParamSpecKwargs as classes (GH-150677)

Use the directive "class" instead of "data" for ParamSpecArgs and ParamSpecKwargs.

gh-89554: Document standard type objects in types as classes (GH-150676)

Use the directive and the role "class" instead of "data" for classes
exposed in the types module.

gh-89554: Document weakref type objects as classes (#150678)

Use the "class" directive instead of "data" for ReferenceType,
ProxyType and CallableProxyType.

gh-89554: Document NoneType, NotImplementedType and EllipsisType as classes (GH-150682)

Always use the directive and the role "class" instead of "data" for
NoneType, NotImplementedType and EllipsisType.

gh-150717: Avoid mark-array allocation for groupless regex patterns (GH-150719)

state_init() always did PyMem_New(state->mark, groups*2), which for a
pattern with no capturing groups is PyMem_Malloc(0) -- a real allocation
(plus matching free) on every match/search/fullmatch call, for an array
that is never read: groupless patterns emit no MARK opcodes and group 0's
span is taken from state->start/ptr.

Guard the allocation with `if (pattern->groups)`. state->mark stays NULL
(set by the preceding memset), and both the error path and state_fini
already PyMem_Free(NULL) safely.

gh-150228: Improve the PEP 829 batch processing APIs (#150542)

* gh-150228: Improve the PEP 829 batch processing APIs

As previously discussed with @ncoghlan and approved for 3.15b2 by @hugovk,
this implements the batch processing APIs for addsitedir() and friends.  We
remove the `defer_processing_start_files` flag which required some implicit
module global state, and promote StartupState to the public documented API.

This also moves the bulk of the module global functions into methods of the
`StartupState` class, so it removes the awkward APIs in 3.15b1.  Now, instances
of this class are an accumulator for startup state, using `StartupState.process()`
to process them.  Callers can now batch up startup state themselves by using
the methods on this class.  The module global functions are shims for this
which preserve the legacy APIs and semantics using the new state class.

This PR also fixes the interleaving regression identified by @ncoghlan in the
same issue.  Now, .pth file sys.path extensions are added to sys.path after
the sitedir that the .pth file is found in, restoring the legacy behavior.

Along the way, I've made a lot of improvements to function docstrings,
site.rst documentation, and comments in the code explaining what's going on.

* Add a note that if known_paths is provided to StartupState.__init__(), it
  will get mutated in place.
* Improve some conditional flows.
* Improve some comments.
* Improve the what's new entry.

* Make test_impl_exec_imports_suppressed_by_matching_start() more robust

Based on PR comment, we need to read both the .pth and .start files, and prove
that the .pth file's import line (which passes a bigger increment) is not
called, but the .start file's entry point (which uses the default increment)
is called.

* As per review, move some methods to the private API

_read_pth_file() and _read_start_file() are not intended to be part of the
public API surface outside of the site module, so even though they are used by
methods outside of the StartupState class, make them privately named.

* Resolve several review feedbacks

* Move a `versionadded`
* Better list comprehension formatting (use the output from
  `ruff format --line-length 78`)

* Add docs for site.makepath() and point the case-normalization requirement to
  this utility function.
* Note that StartupState.process() is not idempotent.

* Address another feedback comment

This time, we get rid of the legacy implementation `reset` local, which was
always difficult to understand, and just implement a return value based on the
processing mode selected.

* Changes based on gh-150228 review

The comment by @encukou that started this change:

```
I still see two red flags here though: an argument that doesn't combine with
other arguments, and (another instance of) changing the return type based on
an argument.

Did you consider adding a StartupState.addsitedir(sitedir) method, instead of
the startup_state argument?
```

As it turns out, this is an even cleaner design.  By moving the bulk of the
previous module global functions into `StartupState` methods, we can get rid
of all the awkward `startup_state` keyword-only arguments which conflict
with `known_path` (Petr's first point).  We can also get rid of the
return value dichotomy (Petr's second point) because now we can preserve
exactly the Python 3.14 API in the module global functions, and implement
the better APIs in the class methods.  We also generally don't have to
pass around `process_known_sitedirs`.

Now the following module global functions are essentially shims around
class methods:

* site.addsitedir() -> StartupState.addsitedir()
* site.addusersitepackages() -> StartupState.addusersitepackages()
* site.addsitepackages() -> StartupState.addsitepackages()
* Additional minor changes
* Remove a now unused parameter

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-150720: Remove '-d 1' in test_script_error_treatment (#150736)

gh-150644: Tag Apple system log messages as public. (#150645)

macOS 26 changed the default visibility of "dynamic" system messages. This
changes the logging strategy to tag all messages as "public" so they are
visible in the system log without special configuration.

gh-150429: Fix sampling profiler generator stack test (#150433)

gh-93417: Improve test_mimetypes (GH-150725)

* Separate tests for module-level API and for the MimeTypes class.
* Add tests for mimetypes.init() and MimeTypes() with knownfiles and with
  explicitly passed files.

gh-148672: Document namespace subpackages inside regular packages (#150056)

gh-115119: Remove superfluous TEST_COVERAGE private macro from _decimal module (GH-149756)

It was previously shared with `libmpdec`, which is no longer vendored.

GH-148960: Reduce the size of the debug stencils to less than half. (GH-150551)

For AArch64 linux, reduces the total bytes in the code bodies from 489kb to 218kb.
Reduces the size of the stencils files from 394k lines to 167k lines.

GH-150478: Add "show_jit" option to `dis.dis` to show jit entry points (GH-150554)

* Shows `ENTER_EXECUTOR` instructions

gh-150436: Skip subprocess test on STATUS_DLL_INIT_FAILED (#150704)

If a subprocess spawned with CREATE_NEW_CONSOLE creation flag fails
with STATUS_DLL_INIT_FAILED return code, skip the test. It's likely a
memory allocation failure in the desktop heap memory which caused the
DLL init failure.

gh-150157: Fix critical section for PyDict_Next() in _pickle.c (GH-150158)

gh-149534: Fix unification of `defaultdict` and `frozendict` with `|` (#149539)

gh-149046: fix: correctly handle `str` subclasses in `io.StringIO` (#149047)

gh-80480: Remove deprecated 'u' array type code (#149535)

Reuse array.typecodes in tests.

gh-150368: Change Windows user group to secure identifier in test_tempfile (#150369)

gh-148508: Add another common pattern for iOS SSL failures to test_ssl (#150442)

Match also '[SSL: HTTP_REQUEST] http request (_ssl.c:1143)'.

gh-150685: update bundled pip to 26.1.2 (gh-150686)

Clarify docs for scheduler.run(blocking=False) (GH-129575)

gh-150636: Clarify difference between copy.copy() and the copy() methods (GH-150637)

Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Stan Ulbrych <stan@python.org>

gh-148605: Remove irepeat() thread test from test_bytes (#150576)

gh-140553: Mark `*gettext` parameters as positionaly only in documentation (#140598)

gh-131178: Fix mimetypes CLI docs, mention that errors go to stdout (#149683)

Co-authored-by: sobolevn <mail@sobolevn.me>

Correct frexp() docs for zero and non-finite numbers (GH-149753)

0.5 <= abs(m) < 1 is only true for finite nonzero numbers

gh-149609: Raise deprecation warnings for `abc.{abstractclassmethod,abstractstaticmethod,abstractproperty}` (#149636)

gh-117291: Explain usage of null bytes in Array(c_char).value (GH-117292)

gh-141444:fix broken URLs and examples in urllib.request.rst (#144863)

* Doc: fix broken URLs and examples in urllib.request.rst (gh-141444)

* Doc: update urllib.request examples to handle gzip compression

---------

Co-authored-by: Senthil Kumaran <senthil@python.org>

Add @itamaro to CODEOWNERS (#150635)

Added myself as a code owner across CI and build-system areas

gh-150372: Add missing null check on completer_word_break_characters in readline.c (GH-150251)

gh-150524: Remove outdated note in binascii.a2b_hex() documentation (GH-150525)

bytes.fromhex() accepts ASCII bytes and bytes-like objects as input since 3.14

gh-123138: Updated email.headerregistry docs to include required keyword parse_tree (GH-134450)

gh-150406: Check result of PyThread_allocate_lock() for netdb_lock (GH-150407)

gh-129851: Fix the documentation for -m command (GH-129862)

gh-144774: Add critical section in `BaseException.__setstate__` (#150578)

Remove unneeded LaTeX code from latex_elements['preamble'] (GH-124630)

It was a workaround for Sphinx < 1.5.

gh-109503: Fix document for shutil.move() on usage of os.rename() since it's inaccurate (GH-109507)

Nonatomic move might be used even if the files are
on the same filesystem in some cases.

gh-135898: Add section to free-threading howto about memory usage (#143279)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-121109: Fix performance of tarfile reading with "r|*" (GH-121296)

gh-150501: Correct `inspect.getattr_static` docs signature (#150504)

gh-150560: Fix crash in XML parser on invalid XML with multi-byte encoding (GH-150568)

gh-149489: Fix ElementTree serialization to HTML (GH-149490)

* The content of comments, processing instructions and elements "xmp",
  "iframe", "noembed", "noframes", and "plaintext" is no longer escaped.
* The "plaintext" element no longer have the closing tag.
* Add support of empty attributes (with value None).

gh-149056: Properly pass array_hook in json.load() to json.loads() (GH-149057)

gh-150403: Document frozendict in language reference Mappings section (GH-150404)

gh-132372: Speed up logging.config existing logger handling (GH-150242)

Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>

Add a security warning about `pydoc`'s HTTP server (#150409)

Fix typos in InternalDocs/compiler.md (#149915)

gh-150454: Fix wrong-interpreter return in import_run_extension error path (#150455)

gh-150345: Fix incorrect reference in BaseSelectorEventLoop docstring (#150538)

gh-150107: Fix asyncio sendfile fallback ignoring non-zero offset (#150270)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-148587: Make sys.lazy_modules match PEP and keep internal lazy submodules tracking internal (#150086)

Make sys.lazy_modules match PEP and keep internal lazy submodules tracking internal

Co-authored-by: Dino Viehland <dinoviehland@meta.com>

gh-139398: [Enum] Add supported sunder names to `__dir__` for REPL completions (GH-139985)

* Add supported sunder names to Enum `__dir__`

This change adds the sunder names `_generate_next_value_`
and `_missing_` to the `__dir__` method of `EnumType` and `Enum`.
In Addition, The instance level sunder names
`_add_alias_` and `_add_value_alias_` are added to `Enum.__dir__`.

With the sunder names exposed in the `dir()` method,
the REPL autocomplete will also show them.

---------

Co-authored-by: SimonGPrs <107691772+SimonGPrs@users.noreply.github.com>
Co-authored-by: Ethan Furman <ethan@stoneleaf.us>

gh-150046: Fix `test_add_python_opts` to ignore `PYTHON*` env vars (#150089)

Avoid the runtime environment from affecting the tests' behaviours,
which notably checks the warning filters which can be controlled by
various PYTHON environment variables.

gh-115988: Add ARM64 and RISCV BCJ filters constants in lzma module (GH-115989)

---------

Signed-off-by: Chien Wong <m@xv97.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-150311: Fix minor issues in configure.ac for Cygwin (#150328)

- Use 'CYGWIN' (uppercase) for ac_sys_system to match the casing used
  in all case-pattern references throughout configure.ac.
- Fix LDLIBRARY for static builds: use '.a' extension instead of
  '.dll.a' when shared libraries are disabled.
- Replace hardcoded 'gcc' and 'g++' with '$(CC)' and '$(CXX)' in
  LDSHARED/LDCXXSHARED for Cygwin.

Co-authored-by: Victor Stinner <vstinner@python.org>

Fix docs for PyThreadState_GetDict() in threads.rst (#150401)

gh-85989: Add skip_if_double_rounding to test.support (#150219)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-148871: make `LOAD_COMMON_CONSTANT` use immortal stackref borrows (GH-149625)

Update `qsbr.md` doc to be more accurate (#148537)

Add prominent crash warning to `ctypes` docs (GH-150410)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

gh-149029: Update SQLite to 3.53.1 for binary releases (#149767)

gh-84353: Preserve non-UTF-8 filenames when appending to ZipFile (GH-150091)

Preserve non-UTF-8 filenames when appending to a ZipFile.

---------

Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-141984: Remove accidental merge markers (GH-150517)

gh-141984: Reword docs on "enclosed" atom grammar (GH-148622)

Reorganize and reword the docs on atoms in parentheses, brackets and braces:
parenthesized groups, list/set/dict/tuple displays, and comprehensions.
(Generator expressions and yield atoms are left for later.)

In the spirit of better matching the underlying grammar, *comprehensions* are
covered separately from non-comprehension displays. Also, parenthesized forms
(with a single expression) and tuple displays are separated.
All sections are rewritten to start with simple cases and build up to the full
formal grammar.

Co-authored-by: Blaise Pabon <blaise@gmail.com>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

gh-150389: Make perf profiler tests resilient (#150437)

gh-149861: Fix rule in match statement `case_block` PEG grammar (GH-149908)

gh-149571: Fix the C implementation of Element.itertext() (GH-149929)

It no longer emits text for comments and processing instructions.

gh-149879: Fix test_grp on Cygwin (#150495)

gh-62259: Add support of multi-byte encodings in the XML parser (GH-149860)

Supported encodings: "cp932", "cp949", "cp950", "Big5","EUC-JP",
"GB2312", "GBK", "johab", and "Shift_JIS".

Partially supported encodings (only BMP characters): "Big5-HKSCS",
"EUC_JIS-2004", "EUC_JISX0213", "Shift_JIS-2004", "Shift_JISX0213",
"utf-8-sig" and non-standard aliases like "UTF8" (without hyphen).

The parser now raises ValueError for known unsupported
multi-byte encodings such us "ISO-2022-JP" or "raw-unicode-escape"
instead of failing later, when encounter non-ASCII data.

gh-150486: Remove dead `_buffer_factory` attribute from `_SelectorDatagramTransport` (#150487)

gh-88726: Stop using non-standard charset names eucgb2312_cn and big5_tw in email (GH-149959)

gh-149879: Fix test_embed on Cygwin (#150441)

gh-149879: Fix test_venv on Cygwin (#150483)

In copy mode, venv now also copies the cygpython DLL.

Fix test_zippath_from_non_installed_posix(): copy also the cygpython
DLL.

gh-148557: Use em-config to locate trampoline clang (#148556)

When CC is wrapped by ccache, the Emscripten trampoline rule cannot derive the
matching clang path by treating CC as a single executable path. Query the active
LLVM toolchain path with em-config instead.

GH-126910: Make `_Py_get_machine_stack_pointer` return the actual stack pointer (GH-149103)

* Make _Py_ReachedRecursionLimit inline again
* Remove _Py_MakeRecCheck replacing its use with _Py_ReachedRecursionLimit
* Move the check for C stack swtiching into _Py_CheckRecursiveCall

gh-139310: Revert test skip for `test_aead_aes_gcm` (GH-139552) (GH-149687)

This reverts commit 41712c4e095b2cc988febfe3887616c2779c6210.

Anyone running tests on a kernel with the bug will now see a failure.

gh-150443: Exclude explicit dup3 and pipe2 checks on iOS builds. (#150444)

Exclude explicit dup3 and pipe2 checks on iOS builds.

gh-149879: Fix test_math and test_statistics on Cygwin (#150432)

* Skip tests which fail on Cygwin: when Python is linked to
  the newlib C library.
* Rename test_random() to test_fma_random().
* Move tests on large integer values from testLog2() to
  testLog2Exact().

gh-149879: Fix test_strptime on Cygwin (#150438)

Skip my_MM and or_IN locales on multiple tests, since the tests fail
on Cygwin.

gh-149879: Fix multiprocessing resource tracker tests on Cygwin (#150440)

Skip test_resource_tracker_sigterm() if signal.pthread_sigmask() is
missing.

gh-149931: Fix memory leaks on failed realloc (#149932)

gh-149619: Harden _remote_debugging error paths (#150349)

gh-149879: Fix test_ftplib on Cygwin (#150431)

Skip test_abort() since MSG_OOB doesn't work properly on Cygwin. The
server gets b'\n' and then b'ABOR\r', instead of getting b'ABOR\r\n'.

gh-149800: Fix macOS universal2 build of perf trampoline (GH-149894 follow-up) (#150364)

After the perf trampoline assembly was split into per-architecture files,
the macOS universal2 build failed at the lipo step:

    fatal error: lipo: Python/asm_trampoline_aarch64.o and
    Python/asm_trampoline_x86_64.o have the same architectures (x86_64)
    and can't be in the same fat output file

PY_CORE_CFLAGS on universal2 contains "-arch arm64 -arch x86_64", so each
.S file was assembled into a fat .o containing both slices (with one slice
empty because of the #ifdef guards). lipo then refused to merge two fat
objects that share architectures.

Compile each per-arch object with a single -arch flag before merging.

gh-150114: Use get_process_memory_usage() in memory watchdog (#150402)

In practice, this change adds Windows, FreeBSD and macOS support
to the memory watchdog.

gh-149879: Fix test_concurrent_futures on Cygwin (#150415)

On Cygwin, skip tests using "forkserver" start method.

Don't check BrokenProcessPool.__cause__, it's not set on Cygwin.

gh-150427: Remove unused `__linecnt` attribute from `_sitebuiltins` (#150428)

gh-149879: Fix test_asyncio on Cygwin (#150416)

Skip tests on UNIX sockets since they hang on Cygwin.

gh-149879: Fix test_ssl on Cygwin (#150419)

On Cygwin, ignore EAGAIN in SSLSocket._create() if getpeername() fails.

gh-149879: Fix test_httpservers on Cygwin (#150417)

gh-150387: Fix hang in test_run_failed_script_live on slow buildbots (#150405)

gh-131372: Fix a typo on "with_build_details_suffix" in configure (#150414)

Fix a typo in an error-handling path.

gh-149879: Fix test_termios and test_ioctl on Cygwin (#150412)

Skip tests failing on Cygwin.

gh-150114: Log the memory usage in regrtest on macOS (gh-150396)

gh-150114: Fix get_process_memory_usage() on Windows (#150399)

Catch OSError if the process exited.

gh-150114: Log the memory usage in regrtest on FreeBSD (#150280)

Add _testcapi.get_process_memory_usage().
On FreeBSD, _testcapi is now linked to libkvm.

gh-80198: Improve test_pwd and test_grp (GH-150380)

Fix tests for non-existing names and ids when getpwall()/getgrall()
don't return all users/groups.

Add tests for out-of-range uids, integer float ids, bytes names,
null-terminated names, names with surrogates, empty names, excessive
arguments.