gh-102304: doc: Add links to Stable ABI and Limited C API (#105345)

* Add "limited-c-api" and "stable-api" references.
* Rename "stable-abi-list" reference to "limited-api-list".
* Makefile: Document files regenerated by "make regen-limited-abi"
* Remove first empty line in generated files:

  - Lib/test/test_stable_abi_ctypes.py
  - PC/python3dll.c

gh-104399: Use newer libtommath APIs when necessary (GH-104407)

Display the sanitizer config in the regrtest header. (#105301)

Display the sanitizers present in libregrtest.

Having this in the CI output for tests with the relevant environment
variable displayed will help make it easier to do what we need to
create an equivalent local test run.

gh-105324: Fix tokenize module main function for stdin (#105325)

Remove dead code in codeop.py (#105263)

gh-89412: Add missing attributes (added in 3.10) to traceback module docs (#105046)

What's New in 3.12: List 'Improved Modules' alphabetically (#105315)

gh-105286: Improve `typing.py` docstrings (#105287)

Co-authored-by: Shantanu <12621235+hauntsaninja@users.noreply.github.com>
Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

gh-105280: Ensure `isinstance([], collections.abc.Mapping)` always evaluates to `False` (#105281)

gh-103906: Remove immortal refcounting in compile/marshal.c (gh-103922)

gh-105237: Allow calling `issubclass(X, typing.Protocol)` again (#105239)

gh-105164: Detect annotations inside match blocks (#105177)

GH-105229: Replace some superinstructions with single instruction equivalent. (GH-105230)

GH-104584: Allow optimizers to opt out of optimizing. (GH-105244)

gh-103558: Add coverage tests for argparse (#103570)

Co-authored-by: Shantanu <12621235+hauntsaninja@users.noreply.github.com>
Co-authored-by: hauntsaninja <hauntsaninja@gmail.com>

gh-98963: Restore the ability to have a dict-less property. (#105262)

Ignore doc string assignment failures in `property` as has been the
behavior of all past Python releases.

gh-80480: array: Add 'w' typecode. (#105242)

gh-104882: Docs: fix description of relationship between `socket.getblocking()` and `socket.gettimeout()` (#105026)

Fix typo in Python 3.12 What's New (#105278)

gh-104690 Disallow thread creation and fork at interpreter finalization (#104826)

Disallow thread creation and fork at interpreter finalization.

in the following functions, check if interpreter is finalizing and raise `RuntimeError` with appropriate message:
* `_thread.start_new_thread` and thus `threading`
* `posix.fork`
* `posix.fork1`
* `posix.forkpty`
* `_posixsubprocess.fork_exec` when a `preexec_fn=` is supplied.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Gregory P. Smith <greg@krypto.org>

gh-89415: Mention new `IP_*` constants in `socket` module in the docs (#105266)

gh-103277: remove unused macros (#105247)

gh-101524: Only Use Public C-API in the _xxsubinterpreters Module (gh-105258)

The _xxsubinterpreters module was meant to only use public API.  Some internal C-API usage snuck in over the last few years (e.g. gh-28969).  This fixes that.

gh-105080: Fixed inconsistent signature on derived classes (#105217)

GH-102404, GH-100956: Document how to do a WASI build (GH-105251)

Also includes a reference shell script to implements what is documented.

gh-104614: Fix potential ref. leak in _testcapimodule/get_basic_static_type() (#105225)

gh-102778: update documentation of PyErr_PrintEx and traceback.print_last() regarding sys.last_exc (#105190)

gh-87092: avoid gcc warning on uninitialized struct field in assemble… (gh-105243)

gh-87092: avoid gcc warning on uninitialized struct field in assemble.c (part2)

gh-105240: add missing function prototypes (#105241)

gh-105214: Use named constants for MAKE_FUNCTION oparg (#105215)

gh-105194: Fix format specifier escaped characters in f-strings (#105231)

GH-104584: Plugin optimizer API (GH-105100)

GH-105162: Account for `INSTRUMENTED_RESUME` in gen.close/throw. (GH-105187)

gh-105184: document that marshal functions can fail and need to be checked with PyErr_Occurred (#105185)

gh-104799: Default missing lists in AST to the empty list (#104834)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-85275: Remove old buffer APIs (#105137)

They are now abi-only.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-92536: Remove PyUnicode_READY() calls (#105210)

Since Python 3.12, PyUnicode_READY() does nothing and always
returns 0.

gh-92536: Argument Clinic no longer emits PyUnicode_READY() (#105208)

Since Python 3.12, PyUnicode_READY() does nothing and always
returns 0.

Argument Clinic now also checks for .cpp files (PC/_wmimodule.cpp).

gh-104614: Make Sure ob_type is Always Set Correctly by PyType_Ready() (gh-105122)

When I added the relevant condition to type_ready_set_bases() in gh-103912, I had missed that the function also sets tp_base and ob_type (if necessary).  That led to problems for third-party static types.

We fix that here, by making those extra operations distinct and by adjusting the condition to be more specific.

gh-104341: Call _PyEval_ReleaseLock() with NULL When Finalizing the Current Thread (gh-105109)

This avoids the problematic race in drop_gil() by skipping the FORCE_SWITCHING code there for finalizing threads.

(The idea for this approach came out of discussions with @markshannon.)

GH-89886: Bump to GNU Autoconf v2.71 (#104925)

Co-authored-by: Christian Heimes <christian@python.org>

gh-105140: remove unused arg of _PyErr_ChainStackItem (#105141)

gh-103142: Upgrade binary builds and CI to OpenSSL 1.1.1u (#105174)

Upgrade builds to OpenSSL 1.1.1u.

This OpenSSL version addresses a pile if less-urgent CVEs since 1.1.1t.

The Mac/BuildScript/build-installer.py was already updated.

Also updates _ssl_data_111.h from OpenSSL 1.1.1u, _ssl_data_300.h from 3.0.9, and adds a new _ssl_data_31.h file from 3.1.1 along with the ssl.c code to use it.

Manual edits to the _ssl_data_300.h file prevent it from removing any existing definitions in case those exist in some peoples builds and were important (avoiding regressions during backporting).

backports of this prior to 3.12 will not include the openssl 3.1 header.

gh-105191: Cleanup peg generator; keep only necessary files (#105197)

gh-105145: Deprecate Py_GetPath() function (#105179)

Deprecate old Python initialization functions:

* PySys_ResetWarnOptions()
* Py_GetExecPrefix()
* Py_GetPath()
* Py_GetPrefix()
* Py_GetProgramFullPath()
* Py_GetProgramName()
* Py_GetPythonHome()

_tkinter.c uses sys.executable instead of Py_GetProgramName()
and uses sys.prefix instead of Py_GetPrefix().

gh-105182: Remove PyEval_AcquireLock() and PyEval_InitThreads() (#105183)

Remove functions in the C API:

* PyEval_AcquireLock()
* PyEval_ReleaseLock()
* PyEval_InitThreads()
* PyEval_ThreadsInitialized()

But keep these functions in the stable ABI.

Mention "make regen-limited-abi" in "make regen-all".

gh-89886: Rely on HAVE_SYS_TIME_H (#105058)

Quoting autoconf (v2.71):

    All current systems provide time.h; it need not be checked for.
    Not all systems provide sys/time.h, but those that do, all allow
    you to include it and time.h simultaneously.

remove unused #includes of pycore_pymem.h (#105166)

gh-103224: Use the realpath of the Python executable in `test_venv` (GH-103243)

Co-authored-by: Oleg Iarygin <oleg@arhadthedev.net>

gh-105107: Remove PyCFunction_Call() function (#105181)

* Keep the function in the stable ABI.
* Add unit tests on PyCFunction_Call() since it remains supported in
  the stable ABI.

gh-105156: Update Lib/test/clinic.test manually (#105180)

Update Lib/test/clinic.test manually for updated Py_UNICODE
converter: it now uses wchar_t type rather than Py_UNICODE.

Fix docstring of `warnings._deprecated` to show correct `remove` value (#105178)

gh-105156: Cleanup usage of old Py_UNICODE type (#105158)

* refcounts.dat:

  * Remove Py_UNICODE functions.
  * Replace Py_UNICODE argument type with wchar_t.

* _PyUnicode_ToLowercase(), _PyUnicode_ToUppercase(),
  _PyUnicode_ToTitlecase() are no longer deprecated in comments.
  It's no longer needed since they now use Py_UCS4 type, rather than
  the deprecated Py_UNICODE type.
* gdb: Remove unused char_width() method.

gh-105145: Remove old functions to config Python init (#105154)

Remove the following old functions to configure the Python
initialization, deprecated in Python 3.11:

* PySys_AddWarnOptionUnicode()
* PySys_AddWarnOption()
* PySys_AddXOption()
* PySys_HasWarnOptions()
* PySys_SetArgvEx()
* PySys_SetArgv()
* PySys_SetPath()
* Py_SetPath()
* Py_SetProgramName()
* Py_SetPythonHome()
* Py_SetStandardStreamEncoding()
* _Py_SetProgramFullPath()

Most of these functions are kept in the stable ABI, except:

* Py_SetStandardStreamEncoding()
* _Py_SetProgramFullPath()

Update Doc/extending/embedding.rst and Doc/extending/extending.rst to
use the new PyConfig API.

_testembed.c:

* check_stdio_details() now sets stdio_encoding and stdio_errors
  of PyConfig.
* Add definitions of functions removed from the API but kept in the
  stable ABI.
* test_init_from_config() and test_init_read_set() now use
  PyConfig_SetString() instead of PyConfig_SetBytesString().

Remove _Py_ClearStandardStreamEncoding() internal function.

gh-105156: Deprecate the old Py_UNICODE type in C API (#105157)

Deprecate the old Py_UNICODE and PY_UNICODE_TYPE types in the C API:
use wchar_t instead.

Replace Py_UNICODE with wchar_t in multiple C files.

Co-authored-by: Inada Naoki <songofacandy@gmail.com>

gh-105172: Fixed functools.lru_cache typed argument docstring. (GH-105173)

gh-102251: Explicitly free state for test modules with state in test_import (#105085)

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

Clarify that error messages are better with PEP 701 (#105150)

Co-authored-by: Marta Gómez Macías <mgmacias@google.com>

gh-103464: Add checks for arguments of pdb commands (GH-103465)

gh-105146: Update links at end of Windows installer (uninstall/repair) (GH-105147)

gh-105148: make _PyASTOptimizeState internal to ast_opt.c (#105149)

gh-105156: Argument Clinic avoids Py_UNICODE type (#105161)

Argument Clinic now uses "const wchar_t*" type instead of
"const Py_UNICODE*" type for the "Py_UNICODE" format.

gh-105144: Runtime-checkable protocols: move all 'sanity checks' to `_ProtocolMeta.__subclasscheck__` (#105152)

gh-104909: Split BINARY_OP into micro-ops (#104910)

Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

gh-105111: remove deprecated macros Py_TRASHCAN_SAFE_BEGIN and Py_TRASHCAN_SAFE_END (#105112)

gh-104773: cgi: Fix typo in What's New in Python 3.13 (#105139)

gh-105096: Deprecate wave getmarkers() method (#105098)

wave: Deprecate the getmark(), setmark() and getmarkers() methods of
the Wave_read and Wave_write classes. They will be removed in Python
3.15.

gh-62948: IOBase finalizer logs close() errors (#105104)

gh-105096: Reformat wave documentation (#105136)

Add ".. class::" markups in the wave documentation.

* Reformat also wave.py (minor PEP 8 changes).
* Remove redundant "import struct": it's already imported at top
  level.
* Remove wave.rst from .nitignore

gh-105107: Remove PyEval_CallFunction() function (#105108)

Remove 4 functions from the C API, deprecated in Python 3.9:

* PyEval_CallObjectWithKeywords()
* PyEval_CallObject()
* PyEval_CallFunction()
* PyEval_CallMethod()

Keep 3 functions in the stable ABI:

* PyEval_CallObjectWithKeywords()
* PyEval_CallFunction()
* PyEval_CallMethod()

gh-104922: Make `PY_SSIZE_T_CLEAN` not mandatory again (#105051)

gh-103142: Update macOS installer to use OpenSSL 1.1.1u. (GH-105130)

gh-97933: add LOAD_FAST_AND_CLEAR to 3.12 What's New bytecode section (#105126)

gh-87729: add LOAD_SUPER_ATTR to 3.12 What's New (#105125)

gh-105020: Share tp_bases and tp_mro Between Interpreters For All Static Builtin Types (gh-105115)

In gh-103912 we added tp_bases and tp_mro to each PyInterpreterState.types.builtins entry.  However, doing so ignored the fact that both PyTypeObject fields are public API, and not documented as internal (as opposed to tp_subclasses).  We address that here by reverting back to shared objects, making them immortal in the process.

gh-102304: Fix 2 New Stable ABI Functions (gh-104762)

gh-105042: Disable unmatched parens syntax error in python tokenize (#105061)

gh-105069: Add a readline-like callable to the tokenizer to consume input iteratively (#105070)

gh-89886: Properly quote Autoconf macro arguments (#105062)

Autoconf 2.70 macros are picky about argument quotation.

gh-105035: fix super() calls on unusual types (e.g. meta-types) (#105094)

GH-73435: Implement recursive wildcards in `pathlib.PurePath.match()` (#101398)

`PurePath.match()` now handles the `**` wildcard as in `Path.glob()`, i.e. it matches any number of path segments.

We now compile a `re.Pattern` object for the entire pattern. This is made more difficult by `fnmatch` not treating directory separators as special when evaluating wildcards (`*`, `?`, etc), and so we arrange the path parts onto separate *lines* in a string, and ensure we don't set `re.DOTALL`.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

CI: Temporarily skip paths with spaces to avoid error (#105110)

* CI: Temporarily skip paths with spaces to avoid "Error: One of your files includes a space"

* Dummy NEWS file to test the action. Will be deleted before merge.

* Revert "Dummy NEWS file to test the action. Will be deleted before merge."

This reverts commit 05cd028fd4c56e3173b134b10dc947c3af471d82.

gh-105071: add missing versionadded directive (#105097)

gh-80064: Fix is_valid_wide_char() return type (#105099)

Return a classical int, rather than size_t. The size_t type was
kept from copied/pasted code related to mbstowcs().

Small speedup for dataclass __eq__ and __repr__ (#104904)

Faster __repr__ with str.__add__ moved inside the f-string. For __eq__ comp;are field by field instead of building temporary tuples.

Co-authored-by: Shantanu <12621235+hauntsaninja@users.noreply.github.com>

gh-103921: Minor PEP-695 fixes to the `ast` module docs (#105093)

gh-105091: stable_abi.py: Remove "Unixy" check from --all on other platforms (GH-105092)

gh-105071: add PyUnstable_Exc_PrepReraiseStar to expose except* implementation in the unstable API (#105072)

gh-105084: Tests: Use setuptools+wheel from sysconfig.get_config_var('WHEEL_PKG_DIR') if set (#105056)

gh-88745: Add _winapi.CopyFile2 and update shutil.copy2 to use it (GH-105055)

gh-102251: Fix reference leak in _testsinglephase initialization (#105082)

Correctly decref 'initialized' in init_module()

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-83403: Test `parent` param in `Mock.__init__` (#103630)

gh-105077: Fix test_tkinter refleak checking (GH-105078)

Use specific symbols from `test.support` to avoid having `support`
overwritten by `test_tkinter`'s own `support` submodule.

GH-104898: Revert pathlib os.PathLike registration change. (GH-105073)

Subclassing `os.PathLike` rather than using `register()` makes
initialisation slower, due to the additional `__isinstance__` work.

This partially reverts commit bd1b6228d132b8e9836fe352cd8dca2b6c1bd98c.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

GH-89455: Add missing attributes (added in 3.11) to traceback module docs (#105044)

gh-103646: Remove --include-pip-user from default APPX package build (GH-105064)

GH-77609: Add follow_symlinks argument to `pathlib.Path.glob()` (GH-102616)

Add a keyword-only *follow_symlinks* parameter to `pathlib.Path.glob()` and`rglob()`.

When *follow_symlinks* is `None` (the default), these methods follow symlinks except when evaluating "`**`" wildcards. When set to true or false, symlinks are always or never followed, respectively.

gh-97908: CAPI docs: Remove repeated struct names from member docs (GH-100054)

And add raw HTML fragments to keep old links working.

gh-104803: Implement ntpath.isdevdrive for checking whether a path is on a Windows Dev Drive (GH-104805)

Fix compiler warning in unicodeobject.c (#105050)