gh-105751, test_ctypes: Remove disabled tests (#105826)

* The following tests were disabled since the initial ctypes commit
  in 2006, commit babddfca758abe34ff12023f63b18d745fae7ca9:

  * Callbacks.test_char_p()
  * DeletePointerTestCase.test_X()
  * NumberTestCase.test_perf()
  * StructureTestCase.test_subclass_creation()
  * Tests.test_X() of test_byteswap

* NumberTestCase.test_bool_from_address() was disabled in 2007 by
  commit 5dc4fe09b7648f9801558e766b21a3d3b2dcad3b.
* Remove check_perf() and run_test() of test_numbers.

gh-105821: Use a raw f-string in test_httpservers.py (#105822)

Use a raw f-string in test_httpservers.py

gh-105751: Remove platform usage in test_ctypes (#105819)

The MACHINE variable is no longer used in test_structures.

gh-105751: Reenable disable test_ctypes tests (#105818)

Reenable 3 tests:

* test_overflow()
* test_basic_wstrings()
* test_toolong()

gh-105751: Remove dead code in test_ctypes (#105817)

* Remove "except: print(tp); raise" debug code.
* Remove unused NoNullHandle() function.
* Remove commented code.

More reorganisation of the typing docs (#105787)

Improve docs for `typing.dataclass_transform` (#105792)

GH-89812: Churn `pathlib.Path` test methods (#105807)

Re-arrange `pathlib.Path` test methods in source code. No other changes.

The test methods are arranged in two groups. The first group checks
`stat()`, `open()`, `iterdir()`, `readlink()`, and derived methods like
`exists()`, `read_text()`, `glob()` and `resolve()`. The second group
checks all other `Path` methods. To minimise the diff I've maintained the
method order within groups where possible.

This patch prepares the ground for a new `_AbstractPath` class, which will
support methods in the first group above. By churning the test methods
here, subsequent patches will be easier to review and less likely to break
things.

gh-105800: Issue SyntaxWarning in f-strings for invalid escape sequences (#105801)

gh-105751: Cleanup test_ctypes imports (#105803)

* Move imports at top level and sort imports.
* Replace c_buffer() with create_string_buffer(): c_buffer is a
  deprecated alias.
* PEP 8: Add empty lines for readability between imports and classes.

gh-105481: add HAS_JUMP flag to opcode metadata (#105791)

gh-105751: test_ctypes avoids the operator module (GH-105797)

* Replace operator.delitem(obj, index) with "del obj[index]".
* Replace operator.setitem(obj, index, value) with
  "obj[index] = value".
* Replace delattr(obj, "attr) with "del obj.attr".
* Replace grc() with sys.getrefcount() for readability.

gh-105751: test_ctypes: Remove @need_symbol decorator (GH-105798)

Remove the @need_symbol('...') decorator of test.test_ctypes since
requested symbols are now always always available in ctypes.

Use the @unittest.skipUnless() decorator directly for the two types
only available on Windows:

* ctypes.WINFUNCTYPE
* ctypes.oledll

gh-104909: Implement conditional stack effects for macros (#105748)

gh-75905: Remove test_xmlrpc_net: skipped since 2017 (#105796)

test_xmlrpc_net was skipped since 2017:
commit 73ffd3f2036179ed54591ef0455e5ba5694ae5bd.

The public buildbot.python.org server has no XML-RPC interface
anymore, and no replacement server was found in 6 years.

gh-105481: Fix types and a bug for pseudos (#105788)

Update DSL docs for cases generator (#105753)

* Clarify things around goto error/ERROR_IF a bit
* Remove docs for super-instructions
* Add pseudo; fix heading markup

GH-77273: Better bytecodes for f-strings (GH-6132)

xmlrpc.client uses datetime.datetime.isoformat() (#105741)

Reimplement _iso8601_format() using the datetime isoformat() method.
Ignore the timezone.

Co-Authored-by: Paul Ganssle <1377457+pganssle@users.noreply.github.com>

gh-105570: Deprecate unusual ways of creating empty TypedDicts (#105780)

Deprecate two methods of creating typing.TypedDict classes with 0 fields using the functional syntax: `TD = TypedDict("TD")` and `TD = TypedDict("TD", None)`. Both will be disallowed in Python 3.15. To create a TypedDict class with 0 fields, either use `class TD(TypedDict): pass` or `TD = TypedDict("TD", {})`.

gh-105196: Fix indentations of section headings in C API docs (#105672)

Typing docs: move the deprecated stuff below the non-deprecated stuff (#105781)

GH-100987: Allow objects other than code objects as the "executable" of an internal frame. (GH-105727)

* Add table describing possible executable classes for out-of-process debuggers.

* Remove shim code object creation code as it is no longer needed.

* Make lltrace a bit more robust w.r.t. non-standard frames.

gh-105566: Deprecate unusual ways of creating `typing.NamedTuple` classes (#105609)

Deprecate creating a typing.NamedTuple class using keyword arguments to denote the fields (`NT = NamedTuple("NT", x=int, y=str)`). This will be disallowed in Python 3.15. Use the class-based syntax or the functional syntax instead.

Two methods of creating `NamedTuple` classes with 0 fields using the functional syntax are also deprecated, and will be disallowed in Python 3.15: `NT = NamedTuple("NT")` and `NT = NamedTuple("NT", None)`. To create a `NamedTuple` class with 0 fields, either use `class NT(NamedTuple): pass` or `NT = NamedTuple("NT", [])`.

gh-104873: Add typing.get_protocol_members and typing.is_protocol (#104878)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-102541: Hide traceback in help prompt (gh-102614)

gdb libpython.py: Remove compatibility code (#105739)

Remove compatibility code for Python 2 and early Python 3 versions.

* Remove os_fsencode() reimplementation: use os.fsencode() directly.
  os.fsencode() was added to Python 3.2.
* Remove references to Python 2 and "Python 3": just say "Python".
* Remove outdated u'' string format: use '' instead.

gh-105745: Fix open method of webbrowser.Konqueror (#105746)

gh-105687: Remove deprecated objects from `re` module (#105688)

_ctypes callbacks.c uses _Py_COMP_DIAG_IGNORE_DEPR_DECLS (#105732)

Replace #pragma with _Py_COMP_DIAG_PUSH,
_Py_COMP_DIAG_IGNORE_DEPR_DECLS and _Py_COMP_DIAG_POP to ease Python
maintenance. Also add a comment explaining why callbacks.c ignores a
deprecation warning.

tarfile: Fix positional-only syntax in docs (GH-105770)

The syntax used in the current docs (a / before any args) is invalid.

I think the right approach is for the arguments to arbitrary
filter functions to be treated as positional-only, meaning that users
can supply filter functions with any names for the argument. tarfile.py
only calls the filter function with positional arguments.

gh-105587: Remove assertion from `_PyStaticObject_CheckRefcnt` (#105638)

GH-89812: Clean up pathlib tests. (#104829)

Clean up pathlib tests.

Merge `PurePathTest` into `_BasePurePathTest`, and `PathTest` into
`_BasePathTest`.

gh-105751: test_ctypes avoids "from ctypes import *" (#105768)

Using "import *" prevents linters like pyflakes to detect undefined names
(usually missing imports).

Replace c_voidp with c_void_p.

gh-105751: test_ctypes.test_numbers uses top level imports (#105762)

Moroever, c_ulonglong and c_bool are always available.

gh-105751: test_ctypes gets Windows attrs from ctypes (#105758)

test_ctypes now gets attributes specific to Windows from the ctypes
module, rather than relying on "from ctypes import *".

Attributes:

* ctypes.FormatError
* ctypes.WINFUNCTYPE
* ctypes.WinError
* ctypes.WinDLL
* ctypes.windll
* ctypes.oledll
* ctypes.get_last_error()
* ctypes.set_last_error()

gh-105699: Use a Thread-Local Variable for PKGCONTEXT (gh-105740)

This fixes a race during import. The existing _PyRuntimeState.imports.pkgcontext is shared between interpreters, and occasionally this would cause a crash when multiple interpreters were importing extensions modules at the same time.  To solve this we add a thread-local variable for the value.  We also leave the existing state (and infrequent race) in place for platforms that do not support thread-local variables.

gh-104812: Skip Pending Calls Tests if No Threading (gh-105761)

This fixes the WASM buildbots.

gh-105387: Limited C API implements Py_INCREF() as func (#105388)

In the limited C API version 3.12, Py_INCREF() and Py_DECREF()
functions are now implemented as opaque function calls to hide
implementation details.

GH-104554: Add RTSPS support to `urllib/parse.py` (#104605)

* GH-104554: Add RTSPS support to `urllib/parse.py`

RTSPS is the permanent scheme defined in
https://www.iana.org/assignments/uri-schemes/uri-schemes.xhtml
alongside RTSP and RTSPU schemes.

* 📜🤖 Added by blurb_it.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-105436: Ignore unrelated errors when checking empty env (GH-105742)

gh-98040: Fix importbench: use types.ModuleType() (#105743)

Replace removed imp.new_module(name) with types.ModuleType(name).

gh-104812: Run Pending Calls in any Thread (gh-104813)

For a while now, pending calls only run in the main thread (in the main interpreter).  This PR changes things to allow any thread run a pending call, unless the pending call was explicitly added for the main thread to run.

gh-102613: Bump recursion limit to fix running test_pathlib under Coverage (#105744)

gh-105481: add flags to each instr in the opcode metadata table, to replace opcode.hasarg/hasname/hasconst (#105482)

gh-105733: Deprecate ctypes SetPointerType() and ARRAY() (#105734)

gh-105603: Change the PyInterpreterConfig.own gil Field (gh-105620)

We are changing it to be more flexible that a strict bool can be for possible future expanded used cases.

gh-105718: Fix buffer allocation in tokenizer with readline (#105728)

gh-105373: Remove PyArg_Parse() deprecation (#105394)

There is no plan to deprecate PyArg_Parse().

The deprecation was added as a comment in the C API documentation in
2007 by commit 85eb8c103c9e460917911b43c6be302c30d75efb.

gh-105713: Document that tokenize raises when mixing tabs/spaces (#105723)

* gh-105713: Document that tokenize raises when mixing tabs/spaces
* Update Doc/whatsnew/3.12.rst

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Fix magic number (GH-105722)

GH-105678: Split MAKE_FUNCTION into MAKE_FUNCTION and SET_FUNCTION_ATTRIBUTE (GH-105680)

gh-105375: Improve error handling in _Unpickler_SetInputStream() (#105667)

Prevent exceptions from possibly being overwritten in case of multiple
failures.

GH-105684: Require `asyncio.Task` implementations to support `set_name` method (#105685)

GH-104787: use bitfields in `_asyncio` (#104788)

gh-105540: Fix code generator tests (#105707)

This involves expanding PEEK, POKE and JUMPBY macros,
and removing super and register tests (those features no longer exist).

gh-105375: Explicitly initialise all {Pickler,Unpickler}Object fields (#105686)

All fields must be explicitly initialised to prevent manipulation of
uninitialised fields in dealloc.

Align initialisation order with the layout of the object structs.

gh-105331: Change `asyncio.sleep` to raise ``ValueError` for nan (#105641)

Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>
Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

Remove support for legacy bytecode instructions (#105705)

(A legacy instruction is of the form `instr(FOOBAR)`,
i.e. missing the `(... -- ...)` stack/cache effect annotation.)

gh-105229: Remove syntactic support for super-instructions (#105703)

It will not be used again.

gh-105436: The environment block should end with two null wchar_t values (GH-105495)

gh-103968: PyType_FromMetaclass: Allow metaclasses with tp_new=NULL (GH-105386)

ARM64 clamping bug also exists in MSVC 14.35 (GH-105679)

gh-105673: Fix uninitialized warning in sysmodule.c (#105674)

In sys_add_xoption(), 'value' may be uninitialized for some error paths.

gh-105481: add pseudo-instructions to the bytecodes DSL (#105506)

gh-105375: Harden pyexpat initialisation (#105606)

Add proper error handling to add_errors_module() to prevent exceptions
from possibly being overwritten.

gh-105375: Improve error handling in the sys extension module (#105611)

In _PySys_AddXOptionWithError() and sys_add_xoption(),
bail on first error to prevent exceptions from possibly being
overwritten.

gh-105375: Improve error handling in _ctypes (#105593)

Prevent repeated PyLong_FromVoidPtr() from possibly overwriting the
current exception.

gh-105375: Improve error handling in PyUnicode_BuildEncodingMap() (#105491)

Bail on first error to prevent exceptions from possibly being overwritten.

gh-105375: Improve PyErr_WarnExplicit() error handling (#105610)

Bail on first error to prevent exceptions from possibly being
overwritten.

bpo-44185: Added close() to mock_open __exit__ (#26902)

gh-102676: Add more convenience properties to `dis.Instruction` (#103969)

Adds start_offset, cache_offset, end_offset, baseopcode,
baseopname, jump_target and oparg to dis.Instruction.

Also slightly improves the disassembly output by allowing
opnames to overflow into the space reserved for opargs.

Fix typo in configparser module docstring (#105652)

"zc.buildbot" -> "zc.buildout"

gh-105375: Improve error handling in the builtins extension module (#105585)

gh-105375: Improve _decimal error handling (#105605)

Fix a bug where an exception could end up being overwritten.

gh-105375: Harden _datetime initialisation (#105604)

Improve error handling so init bails on the first exception.

gh-105375: Improve array.array exception handling (#105594)

Fix a bug where 'tp_richcompare' could end up overwriting an exception.

gh-105375: Harden _ssl initialisation (#105599)

Add proper error handling to prevent reference leaks and overwritten
exceptions.

gh-80480: Emit DeprecationWarning for array's 'u' type code (#95760)

gh-99108: Mention HACL\* in the hashlib docs. (#105634)

Cleanup and clarify our hashlib docs. (#105624)

Clarify and improve our hashlib docs. Now with 50% less mess!

gh-105375: Harden error handling in `_testcapi/heaptype.c` (#105608)

Bail on first error in heapctypesubclasswithfinalizer_finalize()

gh-105375: Improve error handling in `zoneinfo` module (#105586)

Fix bugs where exceptions could end up being overwritten
because of deferred error handling.

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

Docs: fix formatting in 2023-06-09-12-59-18 NEWS item (#105607)

gh-105549: Tokenize separately NUMBER and NAME tokens and allow 0-prefixed literals (#105555)

gh-105375: Improve error handling in _elementtree (#105591)

Fix bugs where exceptions could end up being overwritten.

gh-105375: Improve posix error handling (#105592)

Fix a bug where an IndexError could end up being overwritten.

gh-105375: Improve errnomodule error handling (#105590)

Bail immediately if an exception is set, to prevent exceptions from
being overwritten.

gh-105375: Improve _pickle error handling (#105475)

Error handling was deferred in some cases, which could potentially lead
to exceptions being overwritten.

gh-105375: Improve error handling in compiler_enter_scope() (#105494)

gh-105564: Don't include artificial newlines in the line attribute of tokens (#105565)

Clarify the supported cases in the tokenize module (#105569)

gh-105497: [Enum] Fix Flag inversion when alias/mask members exist. (GH-105542)

When inverting a Flag member (or boundary STRICT), only consider other canonical flags; when inverting an IntFlag member (or boundary KEEP), also consider aliases.

Miscellaneous improvements to the typing docs (#105529)

Mostly, these are changes so that we use shorter sentences and shorter paragraphs. In particular, I've tried to make the first sentence introducing each object in the typing API short and declarative.

gh-105557: Remove duplicate sqlite3 test method (#105558)

test_func_return_too_large_int() was defined twice.
Keep only the redefined method, as that also checks the tracebacks.

gh-94924: support `inspect.iscoroutinefunction` in `create_autospec(async_def)` (#94962)

* support inspect.iscoroutinefunction in create_autospec(async_def)

* test create_autospec with inspect.iscoroutine and inspect.iscoroutinefunction

* test when create_autospec functions check their signature

gh-105407: Remove unused imports (#105554)

gh-102304: Remove Py_INCREF() doc change (#105552)

Py_INCREF() was made compatible again with Python 3.9 and older in
the limited API of Python debug mode.

gh-102304: Fix Py_INCREF() for limited C API 3.9 (#105550)

When Python is built in debug mode (Py_REF_DEBUG macro), Py_INCREF()
and Py_DECREF() of the limited C API 3.9 (and older) now call
Py_IncRef() and Py_DecRef(), since _Py_IncRef() and _Py_DecRef() were
added to Python 3.10.

gh-105545: Remove deprecated `MacOSXOSAScript._name` (gh-105546)