gh-99631: Add custom `loads` and `dumps` support for the `shelve` module (#118065)

Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-89083: Add CLI tests for `UUIDv{6,7,8}` (#136548)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-135853: add `math.fmax` and `math.fmin` (#135888)

gh-136565: Improve and amend `hashlib.__doc__` (#136566)

gh-111506: Add _Py_OPAQUE_PYOBJECT to hide PyObject layout & related API (GH-136505)

Allow Py_LIMITED_API for (Py_GIL_DISABLED && _Py_OPAQUE_PYOBJECT)

API that's removed when _Py_OPAQUE_PYOBJECT is defined:

    - PyObject_HEAD
    - _PyObject_EXTRA_INIT
    - PyObject_HEAD_INIT
    - PyObject_VAR_HEAD
    - struct _object (i.e. PyObject) (opaque)
    - struct PyVarObject (opaque)
    - Py_SIZE
    - Py_SET_TYPE
    - Py_SET_SIZE
    - PyModuleDef_Base (opaque)
    - PyModuleDef_HEAD_INIT
    - PyModuleDef (opaque)
    - _Py_IsImmortal
    - _Py_IsStaticImmortal

Note that the `_Py_IsImmortal` removal (and a few other issues)
 means _Py_OPAQUE_PYOBJECT only works with limited
API 3.14+ now.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-135401: Test AWS-LC as a cryptography library in CI (GH-135402)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Zachary Ware <zach@python.org>

Minor edit: Improve comment readability and ordering (gh-136557)

Doc: More duplicate word fixes (GH-136299)

gh-101100: Fix sphinx warnings in Doc/library/functools.rst (GH-136424)

Add index entries and anchors for cache_info, cache_clear and register.

gh-135906: Test the internal C API in test_cext (#136247)

Remove duplicated definition: atexit_datacallbackfunc type
is already defined by Include/cpython/pylifecycle.h.

gh-136156: Remove tempfile test_link_tmpfile() (#136534)

It's not always possible to guarantee that the file was opened with
O_TMPFILE even if tempfile._O_TMPFILE_WORKS is true.

gh-136541: Fix several problems of perf trampolines in x86_64 and aarch64 (#136500)

This commit fixes the following problems:

* The x86_64 trampolines are not preserving frame pointers
* The hardcoded offsets to the code segment from the FDE only worked properly for x64_64
* The CIE data was not following conventions of aarch64
* The eh_frame for aarch64 was not fully correct

gh-136300: Modify C tests to conform to PEP-737 (GH-136301)

- Use %T format specifier instead of %s and Py_TYPE(x)->tp_name.
- Remove legacy %.200s format specifier for truncating type names.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-136434: Fix docs generation of `UnboundItem` in subinterpreters (#136435)

gh-76637: Note that `undefined` Codec is for testing (#136531)

Closes #76637

gh-101100: Fix sphinx warnings in `library/email.parser.rst` (#136475)

gh-107538: [Enum] fix handling of inverted/negative values (GH-132273)

* Fix flag mask inversion when unnamed flags exist.

For example:

    class Flag(enum.Flag):
        A = 0x01
        B = 0x02
        MASK = 0xff

    ~Flag.MASK is Flag(0)

* EJECT and KEEP flags (IntEnum is KEEP) use direct value.

* correct Flag inversion to only flip flag bits

IntFlag will flip all bits -- this only makes a difference in flag sets with
missing values.

* correct negative assigned values in flags

negative values are no longer used as-is, but become inverted; i.e.

    class Y(self.enum_type):
        A = auto()
        B = auto()
        C = ~A        # aka ~1 aka 0b1 110 (from enum.bin()) aka 6
        D = auto()

    assert Y.C. is Y.B|Y.D

Omit `Python/perf_jit_trampoline.c` from the `**/*jit*` CODEOWNERS rule (#136519)

Omit perf_jit_trampoline from "JIT" codeowners

gh-136517: Print uncollectable objects if DEBUG_UNCOLLECTABLE mode was set (#136518)

gh-135953:  Implement sampling tool under profile.sample (#135998)

Implement a statistical sampling profiler that can profile external
Python processes by PID. Uses the _remote_debugging module and converts
the results to pstats-compatible format for analysis.

Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

gh-52876: Implement missing parameter in `codecs.StreamReaderWriter` functions (#136498)

Closes #52876

gh-82663: Clarify `codecs.iterdecode/encode` docs (#136497)

Closes #82663

gh-132661: Add default value (of `""`) for `Interpolation.expression` (#136441)

gh-136394: Fix race condition in test_zstd (GH-136432)

gh-82088: Improve performance of PyLong_As*() for multi-digit ints (#135585)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-136209: Add .. c:var:: declarations for C exception types (GH-136210)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-136438: Make sure `test_builtins` pass with all optimization levels (#136474)

gh-136476: Remove creation of unused list (GH-136494)

gh-135846: Add zstd dependency to Android build script (#136253)

Adds zstd to the Android build process.

---------

Co-authored-by: Malcolm Smith <smith@chaquo.com>

gh-136476: Show the full stack in get_async_stack_trace in _remote_debugging (#136483)

gh-102740: Clarify time.monotonic() "system-wide" in the doc (#136431)

gh-136156: Skip test_tempfile.test_link_tmpfile() on Android (#136430)

Adds a test skip on platforms where hard links are not available (which includes Android).

gh-136145: Define 'standard library' and 'stdlib' in the glossary (GH-136146)

---------

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Éric <merwok@netwok.org>

Add Diego Russo as code owner of the JIT (#136460)

GH-115802: Optimize JIT stencils for size (GH-136393)

Minor edit: Move comments closer to the code they describe (gh-136477)

gh-81520: Document unexpected `os.path.ismount` behaviour with btrfs subvolumes (GH-136058)

gh-131825: Fix `sqlite3` timezone-naive adapter recipe (GH-136270)

Docs: unittest.enterModuleContext is not a classmethod (#136464)

gh-136447: Use `self.loop` instead of global `loop` variable in asyncio REPL (#136448)

gh-134657: Remove newly added private names from asyncio.__all__ (#134665)

gh-53243: Document `codecs.readbuffer_encode()` (#136284)

Closes #53243

gh-94503: Update logging cookbook example with info on addressing log injection. (GH-136446)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

gh-119109: improve `functools.partial` vectorcall with keywords (#124584)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-136229: Remove Platform Emscripten is not supported warning (#136230)

Updates configure script to identify Emscripten as Tier 3.

gh-91048: Revert the memory cache removal for remote debugging (#136440)

gh-91048: Reintroduce the memory cache for remote debugging

gh-92536: Fix comment about number of unicode string types (#136439)

gh-136162: Document `encodings` package functions (#136164)

Closes #136162.

GH-91636: Clear weakrefs created by finalizers. (GH-136401)

Weakrefs to unreachable garbage that are created during running of
finalizers need to be cleared.  This avoids exposing objects that
have `tp_clear` called on them to Python-level code.

Update bytecode magic number in tests for the 3.14 release candidate (#136427)

gh-136156: Allow using linkat() with TemporaryFile (#136281)

tempfile.TemporaryFile() no longer uses os.O_EXCL with os.O_TMPFILE,
so it's possible to use linkat() on the file descriptor.

gh-136380: Fix import behavior for `concurrent.futures.InterpreterPoolExecutor` (#136381)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Peter Bierma <zintensitydev@gmail.com>
Co-authored-by: sobolevn <mail@sobolevn.me>

gh-136186: Fix race condition in test_external_inspection.test_only_active_thread (#136347)

gh-101100: Fix sphinx warnings in `Doc/library/exceptions.rst` (#136309)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-136297: Fix `hypothesis` and `subTest` usage in `test_zoneinfo_property.py` (#136384)

gh-117657: enable `test_capi` under TSAN (#136269)

gh-134043: use `_PyObject_GetMethodStackRef` in pattern matching (#136356)

gh-101100: Fix sphinx warnings in `whatsnew/3.11.rst` (#136402)

gh-102567: Add missing newline to `--help-all` (GH-136391)

gh-98388: add tests for happy eyeballs  (#136368)

 gh-135906: Use `_PyObject_CAST` in internal headers (GH-135892)

Fixes build errors encountered in python-greenlet/greenlet#450 when building greenlet on the free-threaded build.

---------

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-101100: Fix Sphinx warnings in library/email.compat32-message.rst (#136323)

gh-120713: Make _Py_NORMALIZE_CENTURY private (GH-135933)

gh-136155: Docs: only add custom OpenGraph protocol meta tags for HTML builds (#136187)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-124486: Fix test_whichdb_ndbm in test_dbm on NetBSD (GH-136335)

On NetBSD, ndbm.open() does not fail for empty file.

gh-135913: Document ob_refcnt, ob_type, ob_size (GH-135914)

* gh-135913: Document ob_refcnt, ob_type, ob_size

In `typeobj.rst`, instead of `:c:member:` it would be better to
use `.. c:member::` with a `:no-index:` option, see:

See ref. https://www.sphinx-doc.org/en/master/usage/domains/index.html#basic-markup

However, `c:member` currently does not support `:no-index:`.

gh-86682: Add versionadded for sys._getframemodulename (#136325)

add versionadded for sys._getframemodulename

gh-131591: Document Py_REMOTE_DEBUG (GH-135929)

gh-101100: Fix sphinx warnings in `whatsnew/3.9` (#136163)

gh-135755: Document __future__.* and CO_* as proper Sphinx objects (GH-135980)

* Turn the __future__ table to list-table.
  This'll make it easier to add entries that need longer markup
* Semantic markup for __future__ feature descriptions.
* Document CO_* C macros.

gh-127502: Remove XML vulnerability table (GH-135294)

* Remove the table
* Replace warnings with notes

Latest releases of Python 3.9-3.15 include expat 2.7.1 which is not vulnerable.

expat 2.6.0 was released in February 2024.

gh-94503: Update logging cookbook with an example of uniformly handling newlines in output. (GH-136217)

gh-87790: support thousands separators for formatting fractional part of Fraction (#132204)

gh-87790: support thousands separators for formatting fractional part of Decimal (#132202)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-109700: fix interpreter finalization while handling memory error (#136342)

gh-136289: Fix test_sqlite3 on platforms with strict UTF-8 filesystem (GH-136326)

gh-136316: Make typing.evaluate_forward_ref better at evaluating nested forwardrefs (#136319)

gh-136021: Make `type_params` a required parameter for `typing._eval_type` (#136332)

gh-109070: Document that get_context in multiprocessing have side effect (#136341)

Document that get_context in multiprocessing have side effect

gh-109700: fix memory error handling in `PyDict_SetDefault` (#136338)

gh-136285: Improve `pickle` protocol testing in `test_interpreters` (#136286)

gh-136032: Fix `argparse.BooleanOptionalAction` doc (#136133)

gh-136315: Fix skipped multithreading test in test_zstd (#136320)

Fix skipped test in test_zstd

gh-136047: Allow typing._allow_reckless_class_checks to check `_py_abc` (#136115)

gh-130870: Preserve `GenericAlias` subclasses in `typing.get_type_hints()` (#131583)

gh-101100: Fix references in `http.cookiejar` docs (GH-136238)

gh-136297: Test all `pickle` protocols in `test_zoneinfo_property.py` (#136298)

gh-136288: Fix error message in `_testcapi/vectorcall.c` (GH-136258)

Use the %N format specifier instead of %s and `PyType_GetName`.

Docs: Move "or" outside monospace syntax in `tarfile.rst` (GH-136263)

gh-135773: have pyvenv.cfg without home key anchor a venv and deduce home (#135831)

This is still formally undefined behaviour, but we may as well
keep the *same* undefined behaviour as previous versions.

PEP 796 proposes a cleaner and more consistent replacement for 3.15+

gh-102555: Fix comment parsing in HTMLParser according to the HTML5 standard (GH-135664)

* "--!>" now ends the comment.
* "-- >" no longer ends the comment.
* Support abnormally ended empty comments "<-->" and "<--->".

---------

Co-author: Kerim Kabirov <the.privat33r+gh@pm.me>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

gh-129824: fix data races in subinterpreters under TSAN (#135794)

This fixes the data races in typeobject.c in subinterpreters under free-threading. The type flags and slots are only modified in the main interpreter as all static types are first initialised in main interpreter.

gh-115999: remove redundant check in free-threading from `_STORE_ATTR_WITH_HINT` (#136249)

gh-133982: Test _pyio.BytesIO in free-threaded tests (gh-136218)

Clarify some details regarding `sys.monitoring` (#133981)

gh-135661: Fix parsing start and end tags in HTMLParser according to the HTML5 standard (GH-135930)

* Whitespaces no longer accepted between `</` and the tag name.
  E.g. `</ script>` does not end the script section.

* Vertical tabulation (`\v`) and non-ASCII whitespaces no longer recognized
  as whitespaces. The only whitespaces are `\t\n\r\f `.

* Null character (U+0000) no longer ends the tag name.

* Attributes and slashes after the tag name in end tags are now ignored,
  instead of terminating after the first `>` in quoted attribute value.
  E.g. `</script/foo=">"/>`.

* Multiple slashes and whitespaces between the last attribute and closing `>`
  are now ignored in both start and end tags. E.g. `<a foo=bar/ //>`.

* Multiple `=` between attribute name and value are no longer collapsed.
  E.g. `<a foo==bar>` produces attribute "foo" with value "=bar".

* Whitespaces between the `=` separator and attribute name or value are no
  longer ignored. E.g. `<a foo =bar>` produces two attributes "foo" and
  "=bar", both with value None; `<a foo= bar>` produces two attributes:
  "foo" with value "" and "bar" with value None.

* Fix Sphinx errors.

* Apply suggestions from code review

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
* Address review comments.

* Move to Security.

---------

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

gh-135252: Document Zstandard integration across zipfile, shutil, and tarfile (#135311)

Document Zstandard integration across zipfile, shutil, and tarfile

gh-135075: Make PyObject_SetAttr() fail with NULL value and exception (#136180)

Make PyObject_SetAttr() and PyObject_SetAttrString() fail if called
with NULL value and an exception set.

gh-115119: Recommend upstream libmpdec in build requirements (#136205)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

`Python/gc.c`: Refer to `InternalDocs` instead of devguide. (#136243)