gh-92049: Forbid pickling constants re._constants.SUCCESS etc (GH-92070)

Previously, pickling did not fail, but the result could not be unpickled.

gh-91954: Emit EncodingWarning from locale and subprocess (GH-91977)

locale.getpreferredencoding() and subprocess.Popen() emit EncodingWarning

gh-91880 - fix typo (GH-92069)

https://github.com/python/cpython/issues/91880#issuecomment-1113914241 - With thanks to @MojoVampire for spotting this.

Automerge-Triggered-By: GH:gvanrossum

bpo-43224: Implement substitution of unpacked TypeVarTuple in C (GH-31828)

Co-authored-by: Matthew Rahtz <mrahtz@gmail.com>

gh-92064: Fix global variable name collision in test_typing (#92067)

Fixes #92064

Rephrase typing.assert_never docs (#92061)

This change is similar to that in #32069

gh-91491: Add several typing features to What's New (#92060)

This gets all the major items in #91491. However, I didn't get around to
adding what's new entries for the large clump of changes in the last
bullet point in the issue.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-91217: deprecate xdrlib (GH-92066)

Automerge-Triggered-By: GH:brettcannon

Fix indentation for typing.Unpack docs (#92058)

https://docs.python.org/3.11/library/typing.html#typing.Unpack

sorting howto: Add clarification on < using __lt__ (#92010)

bpo-44791: Accept ellipsis as the last argument of typing.Concatenate (#30969)

gh-87390: Add tests demonstrating current type variable substitution behaviour (#32341)

bpo-26792: Improve docstrings of runpy module run_functions (#30729)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

gh-91324: Convert the stable ABI manifest to TOML (GH-92026)

bpo-36329: Remove 'make -C Doc serve' in favour of 'make -C Doc htmlview' (GH-32354)

Also updated `make -C htmlview` so it used a full path with `file://`, because the original didn't open the page (macOS).

For example:
```sh
cd Doc

# Doesn't open anything:
python3 -c "import webbrowser; webbrowser.open('build/html/index.html')"

# Opens the docs page e.g. file:///Users/hugo/github/cpython/Doc/build/html/index.html :
python3 -c "import os, webbrowser; webbrowser.open('file://' + os.path.realpath('build/html/index.html'))"
```

https://bugs.python.org/issue36329

gh-91873: Summarise deprecations in typing at the top level (GH-91864)

bpo-22276: Change pathlib.Path.glob not to ignore trailing path separator (GH-10349)

Now pathlib.Path.glob() **only** matches directories when the pattern ends in a path separator.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-91603: Speed up isinstance/issubclass on union types (GH-91631)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Shantanu <12621235+hauntsaninja@users.noreply.github.com>

gh-91832: Add 'required' attr to argparse.Action repr (GH-91841)

# Adding 'required' to names in Lib.argparse.Action

gh-91832:
Added 'required' to the list `names` in `Lib.argparse.Action`.
Changed constant strings that test the Action object.

Automerge-Triggered-By: GH:merwok

gh-91324: List feature macros in the stable ABI manifest, improve tests (GH-32415)

gh-84461: Add HOSTRUNNER for program to run Python executable (GH-91931)

`HOSTRUNNER` is a program which can be used to run `BUILDPYTHON` for the host platform (for example, `python.js` requires `node`).

Also change depedencies from `build_all` to `all` so that targets which can't build everything (e.g. WASM) can still run `buildbottest` and `pythoninfo`.

cc @tiran

gh-89479: Export _Py_GetSpecializationStats() internal function (#92011)

When Python is built with "./configure --enable-pystats" (if the
Py_STATS macro is defined), the _Py_GetSpecializationStats() function
must be exported, since it's used by the _opcode extension which is
built as a shared library.

gh-91984: Fix trailing spaces in multiline test strings in test_argparse (GH-91986)

gh-91603: Speed up operator "|" for UnionType (GH-91955)

Reduce the complexity from O((M+N)^2) to O(M*N), where M and N are the length
of __args__ for both operands (1 for operand which is not a UnionType).

As a consequence, the complexity of parameter substitution in UnionType has
been reduced from O(N^3) to O(N^2).

Co-authored-by: Yurii Karabas <1998uriyyo@gmail.com>

gh-91869: Fix tracing of specialized instructions with extended args (GH-91945)

gh-91217: deprecate uu (GH-92009)

Automerge-Triggered-By: GH:brettcannon

Add note that headers added via urllib.request.add_header are added to redirected requests (#30708)

gh-84459: Make wording more specific for Path.replace (GH-91853)

#84459

Correct method name typo (#91970)

gh-87999: Change warning type for numeric literal followed by keyword (GH-91980)

The warning emitted by the Python parser for a numeric literal
immediately followed by keyword has been changed from deprecation
warning to syntax warning.

gh-91810: Expand ElementTree.write() tests to use non-ASCII data (GH-91989)

gh-91498: socket: Add TCP_CONNECTION_INFO on macOS (#69256)

Fixes GH-91498

gh-91719: Mark pycore_opcode.h as generated in .gitattributes (#91976)

gh-91320: Add _Py_reinterpret_cast() macro (#91959)

Fix C++ compiler warnings about "old-style cast"
(g++ -Wold-style-cast) in the Python C API.  Use C++
reinterpret_cast<> and static_cast<> casts when the Python C API is
used in C++.

Example of fixed warning:

    Include/object.h:107:43: error: use of old-style cast to
    ‘PyObject*’ {aka ‘struct _object*’} [-Werror=old-style-cast]
    #define _PyObject_CAST(op) ((PyObject*)(op))

Add _Py_reinterpret_cast() and _Py_static_cast() macros.

Fix missing `f` prefix on f-strings (GH-91910)

gh-68966: Deprecate the mailcap module (#91951)

bpo-21761: Clarify __file__/__cached__ in import reference (GH-31565)

Automerge-Triggered-By: GH:brettcannon

gh-91870: Remove unsupported SRE opcode CALL (GH-91872)

It was initially added to support atomic groups, but that
support was never fully implemented, and CALL was only left
in the compiler, but not interpreter and parser.

ATOMIC_GROUP is now used to support atomic groups.

gh-91217: deprecate telnetlib (GH-91958)

gh-91917: Fix test_zipfile on non-UTF-8 locale (GH-91921)

Skip the extraction test if file names are not encodable.

gh-91916: Fix test_runpy on non-UTF-8 locale (GH-91920)

If use a non-builtin codec, partially implemented in Python
(e.g. ISO-8859-15), a new RecursionError (with empty error message)
can be raised while handle a RecursionError.

Testing for error message was needed to distinguish
a recursion error from arbitrary RuntimeError. After introducing
RecursionError, it became unnecessary.

gh-91914: Fix test_curses on non-UTF-8 locale (GH-91919)

gh-91915: Fix test_netrc on non-UTF-8 locale (GH-91918)

gh-91860: Add typing.dataclass_transform (PEP 681) (#91861)

Copied from typing-extensions (python/typing#1054, python/typing#1120).

Documentation is intentionally omitted, so we can focus on getting the
runtime part in before the feature freeze.

gh-91217: deprecate sunau (GH-91866)

gh-91401: Add a failsafe way to disable vfork. (#91490)

Just in case there is ever an issue with _posixsubprocess's use of
vfork() due to the complexity of using it properly and potential
directions that Linux platforms where it defaults to on could take, this
adds a failsafe so that users can disable its use entirely by setting
a global flag.

No known reason to disable it exists. But it'd be a shame to encounter
one and not be able to use CPython without patching and rebuilding it.

See the linked issue for some discussion on reasoning.

Also documents the existing way to disable posix_spawn.

bpo-46907: Update Windows installer to SQLite 3.38.2 (GH-32147)

gh-91719: Add pycore_opcode.h internal header file (#91906)

Move the following API from Include/opcode.h (public C API) to a new
Include/internal/pycore_opcode.h header file (internal C API):

* EXTRA_CASES
* _PyOpcode_Caches
* _PyOpcode_Deopt
* _PyOpcode_Jump
* _PyOpcode_OpName
* _PyOpcode_RelativeJump

gh-64783: Fix signal.NSIG value on FreeBSD (#91929)

Fix signal.NSIG value on FreeBSD to accept signal numbers greater
than 32, like signal.SIGRTMIN and signal.SIGRTMAX.

* Add Py_NSIG constant.
* Add pycore_signal.h internal header file.
* _Py_Sigset_Converter() now includes the range of valid signals in
  the error message.

gh-89653: PEP 670: Functions don't cast pointers (#91697)

In the limited C API version 3.11 and newer, the following functions
no longer cast their object pointer argument with _PyObject_CAST() or
_PyObject_CAST_CONST():

* Py_REFCNT(), Py_TYPE(), Py_SIZE()
* Py_SET_REFCNT(), Py_SET_TYPE(), Py_SET_SIZE()
* Py_IS_TYPE()
* Py_INCREF(), Py_DECREF()
* Py_XINCREF(), Py_XDECREF()
* Py_NewRef(), Py_XNewRef()
* PyObject_TypeCheck()
* PyType_Check()
* PyType_CheckExact()

Split Py_DECREF() implementation in 3 versions to make the code more
readable.

Update the xxlimited.c extension, which uses the limited C API
version 3.11, to pass PyObject* to these functions.

gh-91880: add try/except around `signal.signal` (#91881)

Fixes gh-91880.

gh-91904: Fix setting envvar PYTHONREGRTEST_UNICODE_GUARD (GH-91905)

It always failed on non-UTF-8 locale and prevented running regrtests.

gh-90633: Improve error and docs for typing.assert_never (#91720)

Closes #90633

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-84461: Include _emscripten_info in pythoninfo output (GH-91907)

gh-91888: add a `:gh:` role to the documentation (#91889)

* Add a new :gh:`...` role for GitHub issues.

* Fix a GitHub id to use the :gh: role.

* Add Misc/NEWS entry.

* Refactoring and rephrasing.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

Rewrite audio.py to jive with image.py (#91886)

Similar to the rewrite of email/mime/image.py and associated test after the
deprecation of imghdr.py, thisrewrites email/mime/audio.py and associated
tests after the deprecation of sndhdr.py.

Closes #91885

gh-91821: Make decimal test succeed consistently (#91825)

The test relies on precision being set to 9, but some ways of
invoking this test leave it set to 28 instead. I don't know
exactly how it happens, but setting the precision directly should
make the behavior consistent.

gh-91491: What's New in 3.11 section for typing PEPs (#91721)

Other aspects of typing aren't covered yet; I'll do that in a
separate PR.

Simplify testing the warning filename (GH-91868)

The context manager result has the "filename" attribute.

gh-91230: Concise catch_warnings with simplefilter (#91435)

gh-91217: deprecate spwd (#91846)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

RE: Pre-split the list of opcode names (GH-91859)

1. It makes them interned.
2. It allows to add comments to individual opcodes.

gh-84461: Add --enable-wasm-pthreads and more file systems (GH-91820)

gh-91308: Simplify parsing inline flag "x" (verbose) (GH-91855)

RE: Add more tests for inline flag "x" and re.VERBOSE (GH-91854)

gh-84461: Add sys._emscripten_info, improve docs and build (gh-91781)

gh-88116: Enhance the inspect frame APIs to use the extended position information (GH-91531)

gh-85864: Mark positional-only args in io docs (#91683)

gh-91547: Remove "Undocumented modules" page (#91682)

gh-91217: deprecate-sndhdr (#91806)

Also inline necessary functionality from `sndhdr` into `email.mime.audio` for `MIMEAudio`.

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

bpo-46720: Add support for path-like objects to multiprocessing.set_executable for Windows (GH-31279)

This bring the API to be on a par with Unix-like systems.

gh-91575: Add a script for generating data for case-insensitive matching in re (GH-91660)

Also test that all extra cases are in BMP.

gh-91700: Validate the group number in conditional expression in RE (GH-91702)

In expression (?(group)...) an appropriate re.error is now
raised if the group number refers to not defined group.

Previously it raised RuntimeError: invalid SRE code.

gh-90568: Fix exception type for \N with a named sequence in RE (GH-91665)

re.error is now raised instead of TypeError.

gh-89279: In ceval.c, redefine some macros for speed (#32387)

Macros Py_DECREF, Py_XDECREF, Py_IS_TYPE, _Py_atomic_load_32bit_impl
and _Py_DECREF_SPECIALIZED are redefined as macros
that completely replace the inline functions of the same name.
These three came out in the top four of functions that (in MSVC)
somehow weren't inlined.

Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Dennis Sweeney <36520290+sweeneyde@users.noreply.github.com>

gh-91764: Mark version typing.Unpack and LiteralString were added in (#91817)

Closes GH-91764

gh-89653: PEP 670: Amend docs (GH-91813)

gh-80527: Deprecate PEP 623 Unicode functions (#91801)

Deprecate functions:

* PyUnicode_AS_DATA()
* PyUnicode_AS_UNICODE()
* PyUnicode_GET_DATA_SIZE()
* PyUnicode_GET_SIZE()

Previously, these functions were macros and so it wasn't possible to
decorate them with Py_DEPRECATED().

Docs: Clarify availability of PyOS_CheckStack (GH-91816)

gh-91291: Accept attributes as keyword arguments in decimal.localcontext (#32242)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-43224: Implement pickling of TypeVarTuples (#32119)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-91217: deprecate-pipes (GH-91779)

gh-69093: Add indexing and slicing support to sqlite3.Blob (#91599)

Authored-by: Aviv Palivoda <palaviv@gmail.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@innova.no>

gh-91156: Use `locale.getencoding()` instead of getpreferredencoding (GH-91732)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-89653: Add assertions to unicodeobject.h functions (#91800)

gh-89653: PEP 670: Convert unicodeobject.h macros to functions (#91799)

Convert unicodeobject.h macros to static inline functions:

* PyUnicode_AS_DATA()
* PyUnicode_AS_UNICODE()
* PyUnicode_GET_DATA_SIZE()
* PyUnicode_GET_SIZE()

Static inline functions are wrapped by macros which casts arguments
with _PyObject_CAST() to prevent introducing new compiler warnings
when passing "const PyObject*".

gh-89373: _Py_Dealloc() checks tp_dealloc exception (#32357)

If Python is built in debug mode, _Py_Dealloc() now ensures that the
tp_dealloc function leaves the current exception unchanged.

gh-79315: Add Include/cpython/pythread.h header (#91798)

gh-79315: Add Include/cpython/modsupport.h header (#91797)

gh-89653: PEP 670: Group deprecated API in unicodeobject.h (#91796)

gh-91768: C API no longer use "const PyObject*" type (#91769)

Py_REFCNT(), Py_TYPE(), Py_SIZE() and Py_IS_TYPE() functions argument
type is now "PyObject*", rather than "const PyObject*".

* Replace also "const PyObject*" with "PyObject*" in functions:

  * _Py_strhex_impl()
  * _Py_strhex_with_sep()
  * _Py_strhex_bytes_with_sep()

* Remove _PyObject_CAST_CONST() and _PyVarObject_CAST_CONST() macros.
* Py_IS_TYPE() can now use Py_TYPE() in its implementation.

gh-89653: PEP 670: Convert unicodeobject.h macros to functions (#91773)

Convert unicodeobject.h macros to static inline functions:

* PyUnicode_MAX_CHAR_VALUE()
* PyUnicode_READ()
* PyUnicode_READY()
* PyUnicode_READ_CHAR()
* PyUnicode_WRITE()

Move PyUnicode_READY() after _PyUnicode_Ready(), since it uses
_PyUnicode_Ready().

Static inline functions are wrapped by macros which casts arguments
with _PyObject_CAST() and casts 'kind' arguments to "unsigned int" to
prevent introducing new compiler warnings when passing "const
PyObject*".

GH-91719: Make MSVC generate somewhat faster switch code (#91718)

Apparently a switch on an 8-bit quantity where all cases are
present generates a more efficient jump (doing only one indexed
memory load instead of two).

So we make opcode and use_tracing uint8_t, and generate a macro
full of extra `case NNN:` lines for all unused opcodes.

See https://github.com/faster-cpython/ideas/issues/321#issuecomment-1103263673

GH-88116: Document that PyCodeNew is dangerous, and make PyCode_NewEmpty less dangerous. (GH-91790)

GH-88756: Update docs for PEP 523 eval function type. (GH-91788)

bpo-47169: Export PyOS_CheckStack on Windows (GH-32414)

GH-88116: Use a compact format to represent end line and column offsets. (GH-91666)

* Stores all location info in linetable to conform to PEP 626.

* Remove column table from code objects.

* Remove end-line table from code objects.

* Document new location table format

gh-89653: PEP 670: Convert tuple macros to functions (#91786)

Convert macros to static inline functions:

* PyTuple_GET_SIZE()
* PyTuple_SET_ITEM()
* PyList_GET_SIZE()
* PyList_SET_ITEM()

Add a macro converting arguments to PyTupleObject*, PyListObject* or
PyObject* to prevent emitting new compiler warnings.

According to PEP 670, PyTuple_GET_ITEM() and PyList_GET_ITEM() are
left as macros.

gh-91782: Define static_assert() macro on FreeBSD (#91787)

On FreeBSD, if the static_assert() macro is not defined, define it in
Python until <sys/cdefs.h> supports C11:
https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=255290

gh-89653: PEP 670: Convert PyWeakref_GET_OBJECT() to function (#91785)

Convert the PyWeakref_GET_OBJECT() macro to a static inline function.
Add an assertion to check the argument with PyWeakref_Check(). Add a
macro converting the argument to PyObject* to prevent emitting new
compiler warning.