bpo-45953: Statically allocate the main interpreter (and initial thread state). (gh-29883)

Previously, the main interpreter was allocated on the heap during runtime initialization.  Here we instead embed it into _PyRuntimeState, which means it is statically allocated as part of the _PyRuntime global.  The same goes for the initial thread state (of each interpreter, including the main one).  Consequently there are fewer allocations during runtime/interpreter init, fewer possible failures, and better memory locality.

FYI, this also helps efforts to consolidate globals, which in turns helps work on subinterpreter isolation.

https://bugs.python.org/issue45953

bpo-46342: make @typing.final introspectable (GH-30530)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-40280: Allow to compile _testcapi as builtin module (GH-30559)

bpo-46020: Optimize long_pow for the common case (GH-30555)

This cuts a bit of overhead by not initializing the table of small
odd powers unless it's needed for a large exponent.

bpo-46348: modernize `test_typing` (GH-30547)

bpo-40280: Add --with-emscripten-target to build for browser or node (GH-30552)

Co-authored-by: Ethan Smith <ethan@ethanhs.me>

bpo-46347: Yet another fix in the erorr path of PyEval_EvalCodeEx (#30554)

bpo-46347: Fix PyEval_EvalCodeEx to correctly cleanup in error paths (#30551)

bpo-46303: Fix fileutils.h compiler warnings (GH-30550)

Add missing pycore_fileutils.h include in _tkinter.c and
_testconsole.c.

bpo-46347: Fix memory leak in PyEval_EvalCodeEx. (#30546)

First introduced in 0332e569c12d3dc97171546c6dc10e42c27de34b

bpo-46307: Add string.Template.get_identifiers() method (GH-30493)

Add `string.Template.get_identifiers()` method that returns the identifiers within the template. By default, raises an error if it encounters an invalid identifier (like `substitute()`). The keyword-only argument `raise_on_invalid` can be set to `False` to ignore invalid identifiers (like `safe_substitute()`).

Automerge-Triggered-By: GH:warsaw

bpo-45953: Statically allocate and initialize global bytes objects. (gh-30096)

The empty bytes object (b'') and the 256 one-character bytes objects were allocated at runtime init.  Now we statically allocate and initialize them.

https://bugs.python.org/issue45953

[doc] Add license_url for python-docs-theme 2022.1. (GH-30527)

bpo-46339: Fix crash in the parser when computing error text for multi-line f-strings (GH-30529)

Automerge-Triggered-By: GH:pablogsal

closes bpo-46253: Change Py_UNICODE to Py_UCS4 in the C API docs to match the current source code (GH-30387)

Remove unused `Any` from `Concatenate` example in typing docs (GH-30516)

News item for issue 46314. (GH-30515)

bpo-46331: Do not set line number of instruction storing doc-string. (GH-30518)

bpo-46303: Move fileutils.h private functions to internal C API (GH-30484)

Move almost all private functions of Include/cpython/fileutils.h to
the internal C API Include/internal/pycore_fileutils.h.

Only keep _Py_fopen_obj() in Include/cpython/fileutils.h, since it's
used by _testcapi which must not use the internal C API.

Move EncodeLocaleEx() and DecodeLocaleEx() functions from _testcapi
to _testinternalcapi, since the C API moved to the internal C API.

bpo-46310: simplify `for` loop in `asyncio/windows_events` (GH-30334)

bpo-46205: exit if no workers are alive in runtest_mp (GH-30470)

bpo-46244: Remove __slots__ from typing.TypeVar, .ParamSpec (#30444)

* add missing __slots__ to typing._TypeVarLike

* add news entry

* remove slots from _TypeVarLike base classes

* cleanup diff

* fix broken link in blurb

bpo-45331: [Enum] add rule to docs that mixin type must be subclassable (GH-30521)

bpo-46327: [Enum] remove skipped tests (GH-30512)

bpo-46301: [Enum] fix refleak tests (GH30510)

bpo-46332: use raise..from instead of assigning __cause__ and raising (GH-30517)

bpo-46314: Remove extra RESUME when compiling a lamdba. (GH-30513)

bpo-46270: Describe the `in` and `not in` operators as membership tests. (GH-30504)

bpo-23882: unittest: Drop PEP 420 support from discovery. (GH-29745)

bpo-46272: Fix two heading comments in python.gram (GH-30499)

One typo fix and one heading change, both in comments. No functional changes.

bpo-37295: Use constant-time comb() and perm() for larger n depending on k (GH-30305)

bpo-40280: Disable epoll_create in Emscripten config.site (GH-30494)

Co-authored-by: nick.pope@infogrid.io

Add a (conservative) timeout for Windows builds on GitHub Actions (GH-30301)

bpo-46308: Fix unportable test(1) operator in configure script (GH-30490)

bpo-46306: simplify `CodeType` attribute access in `doctest.py` (GH-30481)

Assume co_firstlineno always exists on types.CodeType objects.

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-46301: [Enum] test uncomparable values in `_convert_` (GH-30472)

add tests that cover different types, and same non-comparable types

bpo-46261: Update `sqlite3.Cursor.lastrowid` docs (GH-30407)

bpo-46290: Fix parameter names in dataclasses docs (GH-30450)

bpo-46299: Improve test_descr (GH-30475)

bpo-46299: improve `test_descr.py` with stricter error handling (GH-30471)

bpo-46235: Do all ref-counting at once during list/tuple multiplication (GH-30346)

When multiplying lists and tuples by `n`, increment each element's refcount, by `n`, just once.

Saves `n-1` increments per element, and allows for a leaner & faster copying loop.

Code by  sweeneyde (Dennis Sweeney).

bpo-46237: Fix the line number of tokenizer errors inside f-strings (GH-30463)

bpo-46217: Revert use of Windows constant that is newer than what we support (GH-30473)

bpo-46297: Fix interpreter crash on startup with multiple PythonPaths set in registry (GH-30466)

bpo-46296: [Enum] add a test for missing `value` recovery (GH-30458)

In `__set_name__` there is a check for the `_value_` attribute and an attempt to add it if missing; this adds a test to cover the case for simple enums with a custom `__new__` method.

bpo-46289: Make conversion of FormattedValue not optional on ASDL (GH-30467)

Automerge-Triggered-By: GH:isidentical

bpo-28546: [doc] Clarify setting pdb breakpoints (GH-30360)

Co-authored-by: Ian Kelling <ian@iankelling.org>

bpo-24650: Use full term "generator function" in yield expressions docs (GH-24663)

bpo-46216: remove spurious link to os.system() from os.time() documentation (GH-30326)

Automerge-Triggered-By: GH:iritkatriel

bpo-46070: Fix asyncio initialisation guard (GH-30423)

If init flag is set, exit successfully immediately.
If not, only set the flag after successful initialization.

bpo-45723: Fix detection of epoll (#30449)

bpo-41011: venv -- add more variables to pyvenv.cfg (GH-30382)

bpo-46251: Add 'Security Considerations' section to logging configura… (GH-30411)

bpo-46263: Fix second location that needs MALLOC_CONF on FreeBSD (GH-30440)

Automerge-Triggered-By: GH:tiran

bpo-46286: use the new POP_JUMP_IF_NOT_NONE opcode to simplify except* (GH-30439)

Automerge-Triggered-By: GH:iritkatriel

bpo-46208: Fix normalization of relative paths in _Py_normpath()/os.path.normpath (GH-30362)

bpo-45292: [PEP-654] exception groups and except* documentation (GH-30158)

bpo-46263: Do not ever expect "use_frozen_modules" to be -1. (gh-30438)

The condition is no longer valid.  This should resolve the buildbot failure on FreeBSD.

https://bugs.python.org/issue46263

bpo-46263: FreeBSD 14.0 jemalloc workaround for junk bytes of freed memory (GH-30434)

Automerge-Triggered-By: GH:tiran

bpo-46278: fix typo introduced in GH-30427 (GH-30430)

Automerge-Triggered-By: GH:asvetlov

bpo-45923: Handle call events in bytecode (GH-30364)

* Add a RESUME instruction to handle "call" events.

Reflect 'context' arg in 'AbstractEventLoop.call_*()' methods (GH-30427)

bpo-46031: add POP_JUMP_IF_NOT_NONE and POP_JUMP_IF_NONE (GH-30019)

bpo-46006: Revert "bpo-40521: Per-interpreter interned strings (GH-20085)" (GH-30422)

This reverts commit ea251806b8dffff11b30d2182af1e589caf88acf.

Keep "assert(interned == NULL);" in _PyUnicode_Fini(), but only for
the main interpreter.

Keep _PyUnicode_ClearInterned() changes avoiding the creation of a
temporary Python list object.

bpo-46266:  Add calendar day of week constants to __all__  (GH-30412)

bpo-46269: [Enum] remove special-casing of `__new__` in `EnumType.__dir__` (GH-30421)

bpo-46257: Convert statistics._ss() to a single pass algorithm (GH-30403)

bpo-46236: Fix PyFunction_GetAnnotations() returned tuple. (GH-30409)

Automerge-Triggered-By: GH:pablogsal

bpo-43137: Revert "webbrowser: Don't run gvfs-open on GNOME" (GH-30417)

gvfs-open was deprecated in 2015 and removed in 2018, but its replacement,
gio(1), is not available in Ubuntu 16.04, which is apparently still
supported by CPython upstream even though it is considered to be EOL by
Ubuntu developers.

Signed-off-by: Simon McVittie <smcv@debian.org>

bpo-45256: Don't track the exact depth of each `InterpreterFrame` (GH-30372)

bpo-46263: Don't use MULTIARCH on FreeBSD (#30410)

bpo-46262: [Enum] test error path in `Flag._missing_` (GH-30408)

add tests that exercise the `_missing_` error path for `Flag` and `IntFlag`

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Ethan Furman <ethan@stoneleaf.us>

bpo-46009: Remove GEN_START (GH-30367)

Fix missing "," in the documentation of Executor Objects (GH-30404)

bpo-45609: More specialization stats for STORE_SUBSCR (GH-30193)

bpo-20369: concurrent.futures.wait() now deduplicates futures given a… (GH-30168)

* bpo-20369: concurrent.futures.wait() now deduplicates futures given as arg.

* 📜🤖 Added by blurb_it.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-33252: Document that ResourceWarning is ignored by default (GH-30358)

`ResourceWarning` is ignored by default.

Document this behaviour, for consistency with others in this table such as `DeprecationWarning`.

Documentation PR can skip NEWS file.

Automerge-Triggered-By: GH:iritkatriel

bpo-46231: Remove invalid_* rules preceded by more tokens from the grammar docs (GH-30341)

bpo-46240: Correct the error for unclosed parentheses when the tokenizer is not finished (GH-30378)

bpo-46202: Remove opcode POP_EXCEPT_AND_RERAISE (GH-30302)

* bpo-46202: remove opcode POP_EXCEPT_AND_RERAISE

* do not assume that an exception group is truthy

bpo-44092: Move What's New entry to where it belongs (GH-30381)

Update old-style strings to f-strings (GH-30384)

Let me know if this sort of change is unwanted...

bpo-46239: improve error message when importing `asyncio.windows_events` (GH-30353)

bpo-46238: reuse `_winapi` constants in `asyncio.windows_events` (GH-30352)

bpo-46233: Minor speedup for bigint squaring (GH-30345)

x_mul()'s squaring code can do some redundant and/or useless
work at the end of each digit pass. A more careful analysis
of worst-case carries at various digit positions allows
making that code leaner.

bpo-44092: Remove unused member `reset` from `sqlite3.Cursor` (GH-30377)

Automerge-Triggered-By: GH:pablogsal

bpo-34538: Remove Exception subclassing from tutorial (GH-30361)

Remove the bit about subclassing exceptions.

Documentation PR can skip the NEWS label.

Automerge-Triggered-By: GH:iritkatriel

Add doctest and improve readability for move_to_end() example. (#30370)

bpo-34931: [doc] clarify behavior of os.path.splitext() on paths with multiple leading periods (GH-30347)

bpo-46110: Restore commit e9898bf153d26059261ffef11f7643ae991e2a4c

This restores commit e9898bf153d26059261ffef11f7643ae991e2a4c .

bpo-44092: Don't reset statements/cursors before rollback (GH-26026)

In SQLite versions pre 3.7.11, pending statements would block a rollback.  This is no longer the case, so remove the workaround.

Revert "bpo-46110: Add a recursion check to avoid stack overflow in the PEG parser (GH-30177)" (GH-30363)

This reverts commit e9898bf153d26059261ffef11f7643ae991e2a4c temporarily as we want to confirm if this commit is the cause of a slowdown at startup time.

bpo-46222: posixmodule sendfile FreeBSD's constants updates. (GH-30327)

* posixodule sendfile FreeBSD's constants updates.

* 📜🤖 Added by blurb_it.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

bpo-40477: macOS Python Launcher app fixes for recent macOS releases (GH-30348)

This change solves two problems encountered by users of the macOS Python Launcher app on recent macOS releases (10.14+):

- The launcher app was no longer able to launch the macOS Terminal.app to run a script.

- Even if Terminal.app was already launched, the launcher app was unable to send an Apple Event to Terminal.app to open and run Python with the desired .py file.

bpo-46229: remove `CODE_OF_CONDUCT.md` to use org default (GH-30342)

Automerge-Triggered-By: GH:Mariatta

bpo-46219, 46221: simplify except* implementation following exc_info changes. Move helpers to exceptions.c. Do not assume that exception groups are truthy. (GH-30289)

argparse docs: prog default is the basename of argv[0] (GH-30298)

Update copyright year to 2022. (GH-30335)

Automerge-Triggered-By: GH:benjaminp

bpo-46218: Change long_pow() to sliding window algorithm (GH-30319)

* bpo-46218: Change long_pow() to sliding window algorithm

The primary motivation is to eliminate long_pow's reliance on that the number of bits in a long "digit" is a multiple of 5. Now it no longer cares how many bits are in a digit.

But the sliding window approach also allows cutting the precomputed table of small powers in half, which reduces initialization overhead enough that the approach pays off for smaller exponents too. Depending on exponent bit patterns, a sliding window may also be able to save some bigint multiplies (sometimes when at least 5 consecutive exponent bits are 0, regardless of their starting bit position modulo 5).

Note: boosting the window width to 6 didn't work well overall. It give marginal speed improvements for huge exponents, but the increased overhead (the small-power table needs twice as many entries) made it a loss for smaller exponents.

Co-authored-by: Oleg Iarygin <dralife@yandex.ru>

bpo-46196: document method cmd.Cmd.columnize (#30303)

The method is already written and tested, now it's officially public.