bpo-46425: Fix direct invocation of `test_contextlib` (GH-30681)

bpo-46417: signal uses PyStructSequence_NewType() (GH-30735)

The signal module now creates its struct_siginfo type as a heap type
using PyStructSequence_NewType(), rather than using a static type.

Add 'siginfo_type' member to the global signal_state_t structure.

bpo-46417: _curses uses PyStructSequence_NewType() (GH-30736)

The _curses module now creates its ncurses_version type as a heap
type using PyStructSequence_NewType(), rather than using a static
type.

* Move _PyStructSequence_FiniType() definition to pycore_structseq.h.
* test.pythoninfo: log curses.ncurses_version.

bpo-46417: time module uses PyStructSequence_NewType() (GH-30734)

The time module now creates its struct_time type as a heap
type using PyStructSequence_NewType(), rather than using a static
type.

* Add a module state to the time module: add traverse, clear and free
  functions.
* Use PyModule_AddType().
* Remove the 'initialized' variable.

bpo-46417: _thread uses PyStructSequence_NewType() (GH-30733)

The _thread module now creates its _ExceptHookArgs type as a heap
type using PyStructSequence_NewType(), rather than using a static
type.

bpo-46417: _testembed.c avoids Py_SetProgramName() (GH-30732)

* _testembed_Py_Initialize() now uses the PyConfig API, rather than
  deprecated Py_SetProgramName().
* Reduce INIT_LOOPS from 16 to 4: test_embed now takes 8.7 seconds
  rather than 14.7 seconds.

bpo-46417: Finalize structseq types at exit (GH-30645)

Add _PyStructSequence_FiniType() and _PyStaticType_Dealloc()
functions to finalize a structseq static type in Py_Finalize().
Currrently, these functions do nothing if Python is built in release
mode.

Clear static types:

* AsyncGenHooksType: sys.set_asyncgen_hooks()
* FlagsType: sys.flags
* FloatInfoType: sys.float_info
* Hash_InfoType: sys.hash_info
* Int_InfoType: sys.int_info
* ThreadInfoType: sys.thread_info
* UnraisableHookArgsType: sys.unraisablehook
* VersionInfoType: sys.version
* WindowsVersionType: sys.getwindowsversion()

bpo-41857: mention timeout argument units in select.poll() and select.depoll() doc-strings (GH-22406)

bpo-46080: fix argparse help generation exception in edge case (GH-30111)

Fix an uncaught exception during help text generation when
argparse.BooleanOptionalAction is used with default=argparse.SUPPRESS
and help is specified.

bpo-46441: Add a boilerplate to test syntax errors in interactive mode (GH-30720)

bpo-46316: optimize `pathlib.Path.iterdir()` (GH-30501)

`os.listdir()` doesn't return entries for `.` or `..`, so we don't need to
check for them here.

bpo-40280: Misc fixes for wasm32-emscripten (GH-30722)

bpo-46429: Merge all deepfrozen files into one (GH-30572)

Fix the caret position in some syntax errors in interactive mode (GH-30718)

bpo-46409: Make generators in bytecode (GH-30633)

* Add RETURN_GENERATOR and JUMP_NO_INTERRUPT opcodes.

* Trim frame and generator by word each.

* Minor refactor of frame.c

* Update test.test_sys to account for smaller frames.

* Treat generator functions as normal functions when evaluating and specializing.

no-issue: Fix documentation typos. (GH-30576)

bpo-46443: deepfreeze: use small ints and singleton zero bytes (GH-30715)

bpo-46437: remove useless `hasattr` from `test_typing` (#30704)

doc: Clarify os.urandom return type (#30282)

Other descriptions in the same file also use 'bytestring' to refer to bytes objects

docs: correct outdated MappingProxyType docstrings (#30281)

The docstrings for MappingProxyType's keys(), values(), and items()
methods were never updated to reflect the changes that Python 3 brought
to these APIs, namely returning views rather than lists.

Update documentation in datetime module strftime-and-strptime-behavior fix typo in '%W' format code description (GH-30232)

A small change to the documentation of datetime module , in the format codes section of stftime and strptime. Changed the description of format code '%W' from 'as a decimal number' to 'a zero padded   decimal number' so it's in line with the example having leading zeros.  Similar to the format code '%U' above.

Automerge-Triggered-By: GH:pganssle

Mark all clinic headers as generated (GH-30679)

bpo-45680: Minor formatting fix in stdtypes.rst (GH-30690)

Makes quotation consistent with rest of docs in commit 0eae9a2a2db6cc5a72535f61bb988cc417011640.

bpo-46413: properly test `__{r}or__` code paths in `_SpecialGenericAlias` (GH-30640)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-45680: Clarify documentation on ``GenericAlias`` objects (GH-29335)

The documentation on ``GenericAlias`` objects implies at multiple points that
only container classes can define ``__class_getitem__``. This is misleading.
This PR proposes a rewrite of the documentation to clarify that non-container
classes can define ``__class_getitem__``, and to clarify what it means when a
non-container class is parameterized.

See also: initial discussion of issues with this piece of documentation in
GH-29308, and previous BPO issue [42280](https://bugs.python.org/issue42280).

Also improved references in glossary and typing docs. Fixed some links.

Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>
Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-46416: Allow direct invocation of `Lib/test/test_typing.py` (GH-30641)

Use `__name__`

bpo-22039: [doc] clarify that there are no plans to disable deleting an attribute via PyObject_SetAttr (GH-30639)

  bpo-43869: Time Epoch is the same on all platforms (GH-30664)

bpo-45535: [Enum] include special dunders in dir() (GH-30677)

Include the `__dunders__` in `dir()` that make `Enum` special:

- `__contains__`
- `__getitem__`
- `__iter__`
- `__len__`
- `__members__`

bpo-45554: Document multiprocessing.Process.exitcode values (GH-30142)

This addresses [bpo-45554]() by expanding the `exitcode` documentation to also describe what `exitcode` will be in cases of normal termination, `sys.exit()` called, and on uncaught exceptions.

Automerge-Triggered-By: GH:pitrou

bpo-44024: Improve the TypeError message in getattr and hasattr (GH-25863)

Use common error message for non-string attribute name in the builtin
functions getattr and hasattr.
The special check no longer needed since Python 3.0.

bpo-46045: Do not use POSIX semaphores on NetBSD (GH-30047)

This fixes hanging tests test_compileall,, test_multiprocessing_fork and test_concurrent_futures.

bpo-20823: Clarify copyreg.pickle() documentation (GH-30230)

bpo-46425: Fix direct invocation of multiple test modules (GH-30666)

bpo-43869: Improve epoch docs (GH-25777)

bpo-46028: Calculate base_executable by resolving symlinks in a venv (GH-30144)

bpo-46424: [typing] cover `Annotation[arg]` invalid usage in tests (GH-30663)

bpo-46402: Promote SQLite URI tricks in `sqlite3` docs (GH-30660)

Provide some examples of URI parameters in sqlite connect().

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>

bpo-46339: Include clarification on assert in 'get_error_line_from_tokenizer_buffers' (#30545)

bpo-42161: Hoist the _PyLong_GetOne() call out of the inner loop. (GH-30656)

bpo-46411: Remove unnecessary calls to sys.exc_info() in tests (GH-30638)

bpo-44934: Add optional feature AppendPath to Windows MSI installer (GH-27889)

The option must be enabled from the command line

Restore MSIX signing and ensure expired certificates are not selected (GH-30649)

Reverts the change in d6c6e6b and applies a better fix.

bpo-46418: [Enum] simplify `MODULE` declaration in tests (GH-30647)

Skip signing side-loadable MSIX for Windows (GH-30644)

We currently do not release these files, and so there's nothing lost by signing them.
Our code signing certificate is somehow incompatible with signing MSIX files. We may be able to re-enable this when we next renew, or if Microsoft updates their signing tool to work with our certificate.

bpo-46161: Fix bug in starunpack_helper in compile.c (GH-30235)

bpo-40066: [Enum] fix tests (GH-30643)

- skip doctest that changes depending on target system
- skip doctest that only fails on CI
- substitute in values that change depending on target system

bpo-46405: fix msvc compiler warnings (GH-30627)

bpo-40066: [Enum] skip failing doc test (GH-30637)

bpo-44133: Skip PyThread_get_thread_native_id() if not available (GH-30636)

test_capi.test_export_symbols() doesn't check if Python exports the
"PyThread_get_thread_native_id" symbol if the _thread.get_native_id()
function is not available (if the PY_HAVE_THREAD_NATIVE_ID macro is
not defined).

bpo-13886: Skip PTY non-ASCII tests if readline is loaded (GH-30631)

Skip test_builtin PTY tests on non-ASCII characters if the readline
module is loaded. The readline module changes input() behavior, but
test_builtin is not intented to test the readline module.

When the readline module is loaded, PyOS_Readline() uses the readline
implementation. In some cases, the Python readline callback
rlhandler() is called by readline with a string without non-ASCII
characters.

Revert "bpo-40066:  [Enum] update str() and format() output (GH-30582)" (GH-30632)

This reverts commit acf7403f9baea3ae1119fc6b4a3298522188bf96.

bpo-40280: Change subprocess imports for cleaner error on wasm32 (GH-30620)

bpo-40280: Add requires_fork test helper (GH-30622)

bpo-46361: Fix "small" `int` caching (GH-30583)

bpo-46386: improve `test_typing:test_immutability_by_copy_and_pickle` (GH-30613)

bpo-40066:  [Enum] update str() and format() output (GH-30582)

Undo rejected PEP-663 changes:

- restore `repr()` to its 3.10 status
- restore `str()` to its 3.10 status

New changes:

- `IntEnum` and `IntFlag` now leave `__str__` as the original `int.__str__` so that str() and format() return the same result
- zero-valued flags without a name have a slightly changed repr(), e.g. `repr(Color(0)) == '<Color: 0>'`
- update `dir()` for mixed-in types to return all the methods and attributes of the mixed-in type
- added `_numeric_repr_` to `Flag` to control display of unnamed values
- enums without doc strings have a more comprehensive doc string added
- `ReprEnum` added -- inheriting from this makes it so only `__repr__` is replaced, not `__str__` nor `__format__`; `IntEnum`, `IntFlag`, and `StrEnum` all inherit from `ReprEnum`

bpo-46387: test all pickle protos in `test_field_descriptor` in `test_collections` (GH-30614)

bpo-46388: Test NotImplemented code path for functools.total_ordering (GH-30616)

bpo-46258: Streamline isqrt fast path (#30333)

bpo-46383: Fix signature of zoneinfo module_free function (GH-30607)

bpo-20281, bpo-29964: update datetime docs to refer %z and %Z to a pre-existing footnote (GH-30354)

bpo-46242: [Enum] better error message for extending `Enum` with members (GH-30357)

Merge remote-tracking branch 'upstream/main'

Post 3.11.0a4

bpo-46380: Apply tests to both C and Python version (GH-30606)

bpo-45569: Change PYLONG_BITS_IN_DIGIT default to 30 (GH-30497)

bpo-40280: Block more syscalls that are causing crashes in tests (GH-30601)

bpo-23183: Document the timeit output (GH-30359)

Co-authored-by: Robert Collins <robertc@robertcollins.net>

bpo-46362: Ensure abspath() tests pass through environment variables to subprocess (GH-30595)

bpo-40280: Build WASM stdlib bundle and more modules for node (GH-30597)

bpo-46280: Fix tracemalloc_copy_domain() (GH-30591)

Test if tracemalloc_copy_traces() failed to allocated memory in
tracemalloc_copy_domain().

bpo-45953: Statically initialize all the non-object PyInterpreterState fields we can. (gh-30589)

https://bugs.python.org/issue45953

bpo-45953: Statically initialize all the PyThreadState fields we can. (gh-30590)

https://bugs.python.org/issue45953

bpo-46362: Ensure ntpath.abspath() uses the Windows API correctly (GH-30571)

This makes ntpath.abspath()/getpath_abspath() follow normpath(), since some WinAPIs such as PathCchSkipRoot() require backslashed paths.

Statically initialize _PyRuntimeState fields. (gh-30588)

https://bugs.python.org/issue45953

bpo-46370: Move the static initializer for _PyRuntime to its own header file. (gh-30587)

https://bugs.python.org/issue46370

bpo-40479: Fix typo, flag must be set for OpenSSL < 3.0.0 (GH-30584)

Python 3.11.0a4

bpo-46070: _PyGC_Fini() untracks objects (GH-30577)

Py_EndInterpreter() now explicitly untracks all objects currently
tracked by the GC. Previously, if an object was used later by another
interpreter, calling PyObject_GC_UnTrack() on the object crashed if
the previous or the next object of the PyGC_Head structure became a
dangling pointer.

bpo-44133: Link Python executable with object files (GH-30556)

When Python is built without --enable-shared, the "python" program is
now linked to object files, rather than being linked to the Python
library (libpython.a), to make sure that all symbols are exported.
Previously, the linker omitted some symbols like the Py_FrozenMain()
function.

When Python is configured with --without-static-libpython, the Python
static library (libpython.a) is no longer built.

* Check --without-static-libpython earlier in configure.ac
* Add LINK_PYTHON_OBJS and LINK_PYTHON_DEPS variables to Makefile.
* test_capi now ensures that the "Py_FrozenMain" symbol is exported.

 bpo-46355: Document PyFrameObject and PyThreadState changes (GH-30558)

Document PyFrameObject and PyThreadState changes in What's New in
Python 3.11 and explain how to port code.

bpo-46358: modernize `test_asyncio` (GH-30562)

bpo-46359: Modernize `test_typing` by removing checks for EOL Python versions (GH-30563)

Also removes unused tests meant for older versions of Python.

bpo-46328: Add sys.exception() (GH-30514)

bpo-46344: Fix trace bug in else of try and try-star blocks (GH-30544)

bpo-40479: Fix hashlib's usedforsecurity for OpenSSL 3.0.0 (GH-30455)

bpo-46315: Add ifdef HAVE_ feature checks for WASI compatibility (GH-30507)

bpo-46345: Add a test case for implicit `Optional` class attribute (GH-30535)

bpo-45953: Statically allocate the main interpreter (and initial thread state). (gh-29883)

Previously, the main interpreter was allocated on the heap during runtime initialization.  Here we instead embed it into _PyRuntimeState, which means it is statically allocated as part of the _PyRuntime global.  The same goes for the initial thread state (of each interpreter, including the main one).  Consequently there are fewer allocations during runtime/interpreter init, fewer possible failures, and better memory locality.

FYI, this also helps efforts to consolidate globals, which in turns helps work on subinterpreter isolation.

https://bugs.python.org/issue45953

bpo-46342: make @typing.final introspectable (GH-30530)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-40280: Allow to compile _testcapi as builtin module (GH-30559)

bpo-46020: Optimize long_pow for the common case (GH-30555)

This cuts a bit of overhead by not initializing the table of small
odd powers unless it's needed for a large exponent.

bpo-46348: modernize `test_typing` (GH-30547)

bpo-40280: Add --with-emscripten-target to build for browser or node (GH-30552)

Co-authored-by: Ethan Smith <ethan@ethanhs.me>

bpo-46347: Yet another fix in the erorr path of PyEval_EvalCodeEx (#30554)

bpo-46347: Fix PyEval_EvalCodeEx to correctly cleanup in error paths (#30551)

bpo-46303: Fix fileutils.h compiler warnings (GH-30550)

Add missing pycore_fileutils.h include in _tkinter.c and
_testconsole.c.

bpo-46347: Fix memory leak in PyEval_EvalCodeEx. (#30546)

First introduced in 0332e569c12d3dc97171546c6dc10e42c27de34b

bpo-46307: Add string.Template.get_identifiers() method (GH-30493)

Add `string.Template.get_identifiers()` method that returns the identifiers within the template. By default, raises an error if it encounters an invalid identifier (like `substitute()`). The keyword-only argument `raise_on_invalid` can be set to `False` to ignore invalid identifiers (like `safe_substitute()`).

Automerge-Triggered-By: GH:warsaw