gh-135443: Sometimes Fall Back to __main__.__dict__ For Globals (gh-135491)

For several builtin functions, we now fall back to __main__.__dict__ for the globals
when there is no current frame and _PyInterpreterState_IsRunningMain() returns
true.  This allows those functions to be run with Interpreter.call().

The affected builtins:

* exec()
* eval()
* globals()
* locals()
* vars()
* dir()

We take a similar approach with "stateless" functions, which don't use any
global variables.

gh-128627: Emscripten: Add missing semicolon in ios detection code (#135590)

Add Peter Bierma as a codeowner for the object and runtime lifecycle (#135588)

Use replacements to update versions in "Using Python on macOS" (#130400)

gh-132617: Fix `dict.update()` mutation check (gh-134815)

Use `ma_used` instead of `ma_keys->dk_nentries` for modification check
so that we only check if the dictionary is modified, not if new keys are
added to a different dictionary that shared the same keys object.

gh-135513: Fix unused variable warning in `crossinterp.c` (#135514)

gh-119132: Remove "experimental" tag from the CPython free-threading. (gh-135550)

* gh-119132: Remove "experimental" tag from the CPython free-threading build

* Address code review

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
* Add NEWS.d

* Regen configure.ac

* Update doc

* Update

* Update

* Update

* Update Doc/howto/free-threading-python.rst

Co-authored-by: Peter Bierma <zintensitydev@gmail.com>
* Update ctypes.rst

* Update

* Update Doc/howto/free-threading-python.rst

Co-authored-by: T. Wouters <thomas@python.org>
* Apply suggestions from code review

Co-authored-by: T. Wouters <thomas@python.org>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
---------

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Peter Bierma <zintensitydev@gmail.com>
Co-authored-by: T. Wouters <thomas@python.org>

gh-120608: fix NEWS entry typo (#135535)

gh-131798: JIT: replace _CHECK_METHOD_VERSION with _CHECK_FUNCTION_VERSION_INLINE (GH-135022)

Signed-off-by: Manjusaka <me@manjusaka.me>
Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

gh-67022: Document bytes/str inconsistency in email.header.decode_header() and suggest email.headerregistry.HeaderRegistry as a sane alternative (#92900)

* gh-67022: Document bytes/str inconsistency in email.header.decode_header()

This function's possible return types have been surprising and error-prone
for the entirety of its Python 3.x history. It can return either:

1. `typing.List[typing.Tuple[bytes, typing.Optional[str]]]` of length >1
2. or `typing.List[typing.Tuple[str, None]]`, of length exactly 1

This means that any user of this function must be prepared to accept either
`bytes` or `str` for the first member of the 2-tuples it returns, which is a
very surprising behavior in Python 3.x, particularly given that the second
member of the tuple is supposed to represent the charset/encoding of the
first member.

This patch documents the behavior of this function, and adds test cases
to demonstrate it.

As discussed in bpo-22833, this cannot be changed in a backwards-compatible
way, and some users of this function depend precisely on the existing
behavior.

Add warnings about obsolescence of 'email.header.decode_header' and 'email.header.make_header' functions.

Recommend use of `email.headerregistry.HeaderRegistry` instead, as suggested
in https://github.com/python/cpython/pull/92900#discussion_r1112472177

gh-111178: fix UBSan failures for `RemoteUnwinderObject` (#135539)

gh-135361: update documentation for `remote_debugger_script` audit event (#135362)

gh-135371: Clean tags from pointers in all cases in remote debugging module (#135534)

gh-65697: Improved error msg for configparser key validation (#135527)

* Improved error msg for configparser key validation and added note in 3.14 whatsnew

* Properly added change to configparser

* 📜🤖 Added by blurb_it.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-127319: Disable port reuse on HTTP, XMLRPC, and logging TCP servers (GH-135405)

Prior to issue #120485 these servers did not allow port reuse, which
makes sense as the behavior of port reuse is surprising if you're not
expecting it. It's unclear to me why these services were switched to
allow port reuse, but I believe the desired behavior (unless subclasses
opt in) is to not allow port reuse.

See also: https://bugzilla.redhat.com/show_bug.cgi?id=2323170

gh-135171: Update documentation for the generator expression (GH-135351)

* gh-135171: Update documentation for the generator expression

Document that the iterator for the leftmost "for" clause is created
immediately.

* Update Doc/reference/expressions.rst

Co-authored-by: Brian Skinn <brian.skinn@gmail.com>
---------

Co-authored-by: Brian Skinn <brian.skinn@gmail.com>

gh-135497: fix `MAXLOGNAME` detection in `configure.ac` (#135508)

gh-135504: Document `LIBZSTD_CFLAGS` and `LIBZSTD_LIBS` config options (#135505)

gh-135371: Fix asyncio introspection output to include internal coroutine chains (#135436)

gh-135474: Specialize arithmetic only on compact ints (GH-135479)

Specialize arithmetic only on compact ints. This also makes int operations non-escaping in the JIT and in tier 1.

gh-135368: Fix mocks on dataclass specs with `instance=True` (#135421)

* gh-135368: Fix mocks on dataclass specs with `instance=True`

* Extend dataclass mock_methods

---------

Co-authored-by: Marc Mueller <30130371+cdce8p@users.noreply.github.com>

gh-135496: Fix f string exclamation mark error typo (#135495)

gh-135437: Account For Duplicate Names in _PyCode_SetUnboundVarCounts() (gh-135438)

gh-132775: Clean Up Cross-Interpreter Error Handling (gh-135369)

In this refactor we:

* move some code around
* make a couple of typedefs opaque
* decouple errors from session state
* improve tracebacks for propagated exceptions

This change helps simplify several upcoming changes.

gh-135462: Fix quadratic complexity in processing special input in HTMLParser (GH-135464)

End-of-file errors are now handled according to the HTML5 specs --
comments and declarations are automatically closed, tags are ignored.

gh-106318: Add example for `str.expandtabs()` (#134525)

gh-135455: Fix version and architecture detection in PC/layout script. (GH-135461)

gh-134160: Split extension module init from PyModule docs; emphasize multi-phase init (GH-135126)

Document behaviour of single-phase init. Call it "legacy".

Reorganize PyModule docs.

Move PyInit_modulename docs from the tutorial to reference documentation.

Move PyMODINIT_FUNC docs from generic macros to the new page.

Add doc stubs for `PYTHON_API_VERSION` & `PYTHON_ABI_VERSION`

Remove incorrect refcounts.dat entry for `PyModuleDef_Init`.
This removes the "Return value: Borrowed reference." note.
Instead, note that the function sometimes returns a borrowed reference,
sometimes as strong one.
(IMO, it's best to not think of `PyModuleDef` as a `PyObject` at all,
and act like it can't be reference-counted.)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-135244: improve wording of `uuid8` docs about CSPRNG (#135433)

gh-126703: Add freelist for PyComplexObject's (gh-135233)

gh-106318: Add example for `str.endswith()` (#134523)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-106318: Add example for `str.encode()` (#134520)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-135308: clarify math.issubnormal() description (GH-135324)

GH-134273: Allow setting JIT compiler flags at build time with CFLAGS_JIT (GH134276)

Revert "gh-135410: use a critical section around `StringIO.__next__` (#135412)" (#135439)

This reverts commit e6c3039cb39e68ae9af9ddcaca341c5af8f9cf23.

gh-135429: Fix the argument mismatch in lsprof throw event (#135442)

doc: Remove what was essentially duplicate wording. (GH-135431)

gh-133390: Support SQL keyword completion for sqlite3 CLI (GH-133393) (GH-135292)

Co-authored-by: Tan Long <tanloong@foxmail.com>

gh-135410: use a critical section around `StringIO.__next__` (#135412)

gh-128627: Fix iPad detection in wasm-gc (#135388)

On some iPad versions, Safari reports as "macOS". Modifies the GC trampoline detection
to add a feature-based check to detect this case.

Fix presentation of dataclasses' `unsafe_hash` default value (#116532)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-134939: Add the concurrent.interpreters Module (gh-133958)

PEP-734 has been accepted (for 3.14).

(FTR, I'm opposed to putting this under the concurrent package, but
doing so is the SC condition under which the module can land in 3.14.)

gh-133264: Correct documentation of how Py_Main and Py_RunMain handle SystemExit (#135337)

GH-135379: Remove types from stack items in code generator. (GH-135384)

* Make casts explicit in the instruction definitions

gh-127545: Add _Py_ALIGNED_DEF(N, T) and use it for PyObject (GH-135209)

* Replace _Py_ALIGN_AS(V) by _Py_ALIGNED_DEF(N, T)

This is now a common façade for the various `_Alignas` alternatives,
which behave in interesting ways -- see the source comment.

The new macro (and MSVC's `__declspec(align)`) should not be used
on a variable/member declaration that includes a struct declaraton.
A workaround is to separate the struct definition.
Do that for `PyASCIIObject.state`.

* Specify minimum PyGC_Head and PyObject alignment

As documented in InternalDocs/garbage_collector.md, the garbage collector
stores flags in the least significant two bits of the _gc_prev pointer
in struct PyGC_Head. Consequently, this pointer is only capable of storing
a location that's aligned to a 4-byte boundary.

Encode this requirement using _Py_ALIGNED_DEF.

This patch fixes a segfault in m68k, which was previously investigated
by Adrian Glaubitz here:
https://lists.debian.org/debian-68k/2024/11/msg00020.html
https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1087600
Original patch (using the GCC-only Py_ALIGNED) by Finn Thain.

Co-authored-by: Finn Thain <fthain@linux-m68k.org>
Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: John Paul Adrian Glaubitz <glaubitz@physik.fu-berlin.de>

gh-135321: Always raise a correct exception for BINSTRING argument > 0x7fffffff in pickle (GH-135322)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-135326: Test support of __index__ in random.getrandbits() (#135356)

gh-133967: Do not normalize locale name 'C.UTF-8' to 'en_US.UTF-8' (#135347)

gh-130077: Properly match full soft keywords in the parser (#135317)

gh-132969:  Fix error/hang when shutdown(wait=False) and task exited abnormally (GH-133222)

When shutdown is called with wait=False, the executor thread keeps running
even after the ProcessPoolExecutor's state is reset. The executor then tries
to replenish the worker processes pool resulting in an error and a potential hang
when it comes across a worker that has died. Fixed the issue by having
_adjust_process_count() return without doing anything if the ProcessPoolExecutor's
state has been reset.

Added unit tests to validate two scenarios:
max_workers < num_tasks (exception)
max_workers > num_tasks (exception + hang)

gh-118928: Amend sqlite3 execute*() deprecation notes (#135163)

Docs: fix docstring of `email.message.Message.add_header` (#134355)

gh-133157: remove usage of `_Py_NO_SANITIZE_UNDEFINED` in `Parser/pegen.c` (#134048)

Fix warnings `set but not used [-Wunused-but-set-variable]` in remote_debug.h (#135290)

Fix definition of `_Py_RemoteDebug_` symbols for static linking (#135146)

gh-116738: Make _heapq module thread-safe (#135036)

Use critical sections to make heapq methods that update the heap thread-safe when the GIL is disabled.

---------

Co-authored-by: mpage <mpage@meta.com>

GH-131296: Suppress clang-cl warnings in socketmodule.c (GH-131821)

gh-127833: Reword and expand the Notation section (GH-134443)

Prepare the docs for using the notation used in the `python.gram`
file. If we want to sync the two, the meta-syntax should be the same.

Link the Full Grammar docs here; keep only a few extras.

Also, remove the distinction between lexical and syntactic rules,
except for whitespace handling.
With f- and t-strings, the line between the two is blurry.

Co-authored-by: Blaise Pabon <blaise@gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Lysandros Nikolaou <lisandrosnik@gmail.com>
Co-authored-by: Colin Marquardt <cmarqu42@gmail.com>

gh-135001: Explicitly specify the encoding parameter value of `calendar.HTMLCalendar` as 'utf-8' (#135002)

gh-133968: Update PyUnicodeWriter_WriteASCII() documentation (#135297)

The function was added to Python 3.14.

GH-135287: clang-cl PGO builds on Windows fail with `could not open '/GENPROFILE'` (GH-135289)

gh-131798: Optimize `_UNARY_INVERT` (GH-135222)

gh-131316: fix invalid `DECREF` in `_md5.md5.copy()` (#135291)

This amends commit 261633bd3f48607478f50d12d8025cd4bb36f6f4.

bpo-45210: Document that error indicator may be set in tp_dealloc (#28358)

Signed-off-by: Edward Z. Yang <ezyang@fb.com>
Signed-off-by: Edward Z. Yang <ezyang@meta.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-135004: rewrite and cleanup `blake2module.c` (#135006)

* Cleanup imports and update module docstring.
* Simplify detection of SIMD support.
* Correctly guard `update()` cases.
* Rewrite `py_blake2b_or_s_new` and rename it to `py_blake2_new`.
* Rewrite `blake2_blake2b_copy_locked` and `py_blake2_clear`.
* Refactor computations of `digest` and `hexdigest`.
* Simplify `py_blake2b_get_name` and `py_blake2b_get_block_size`.
* Add `hacl_get_blake2_info` to extract static BLAKE-2 information.
   This new helper is used by `py_blake2b_get_digest_size`, but can
   be later used to expose `key_length` more easily.

gh-135234: improve `_hashlib` exceptions when reporting an OpenSSL function failure (#135250)

- Refactor `get_openssl_evp_md_by_utf8name` error branches.
- Refactor `HASH.{digest,hexdigest}` computations.
- Refactor `_hashlib_HASH_copy_locked` and `locked_HMAC_CTX_copy`.

Use f-strings in csv docs example (#135245)

gh-135263: Fix typo in token.NAME documentation (#135275)

gh-135276: Refresh `zipfile.Path` from zipp 3.23 (#135277)

Apply changes from zipp 3.23

Add compile_commands.json to .gitignore (#135111)

Update tutorial for new "Copy" button (#135007)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>

gh-134531: refactor `_hashlib` logic for handling NIDs and EVP_MDs (#135254)

gh-134976: document the exception type that can be raised by `s[i]` (#134977)

gh-135244: generate UUID random Node ID with a CSPRNG as per RFC 9562, §6.10.3 (#135226)

This aligns with the recommendations of RFC 9562, Section 6.10, paragraph 3 [1].

[1]: https://www.rfc-editor.org/rfc/rfc9562.html#section-6.10-3.

---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-134531: fix `_hashlib` clinic directive post GH-134626 (#135249)

gh-134151 Fix `TypeError` in `email.utils.decode_params` when sorting RFC 2231 continuations (#134687)

- Fix sorting logic in `email.utils.decode_params` to handle None values.
- Update tests for RFC 2231 continuation sorting.

gh-133579: correctly report C curses errors in `_curses_panel` (#134629)

This is a follow-up to ee36db550076e5a9185444ffbc53eaf8157ef04c.

GH-131798: Type-propagate string/list/tuple slices (GH-134671)

gh-134876: Add fallback for when process_vm_readv fails with ENOSYS (#134878)

Revert "gh-133390: Support SQL keyword completion for sqlite3 CLI (#133393)" temporarily (GH-135232)

This reverts commit 62b3d2d443785c4ea5262edb4f9f7040440f9463,
which broke buildbots

GH-131798: Optimize away type(x) in the JIT when the result is known (GH-135194)

Docs: Update `PyExc_*` tables in the c-api documentation (GH-131640)

Add `PyExc_BaseExceptionGroup` and `PyExc_EncodingWarning`

gh-133390: Support SQL keyword completion for sqlite3 CLI (#133393)

gh-57089: Note _layout_ in the bitfield docs (GH-134148)

Co-authored-by: Meador Inge <meadori@gmail.com>
Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>

gh-134160: Use PyModuleDef.m_free in the example module xxlimited (GH-135174)

Co-authored-by: neonene <53406459+neonene@users.noreply.github.com>

gh-134891: Add PyUnstable_Unicode_GET_CACHED_HASH (GH-134892)

feat(docs): type fix - apply pep8 by using docstring instead of comment in the doc. (#135181)

Giving the right example incitates the tutorial readers to do the same in the future.

Fix versionadded directive rendering in c-api/arg.rst (#135199)

gh-134036: Update test_syntax for gh-133999 (#135204)

gh-134993: Add os.lstat() to os.supports_dir_fd (#135188)

gh-135120: Add test.support.subTests() (GH-135121)

gh-134036: Improve error messages for invalid `raise` statements (#134077)

gh-135155: Added dependencies required for compiling the _zstd module (GH-135156)

GH-132554:  Fix tier2 `FOR_ITER` implementation and optimizations (GH-135137)

gh-134155: fix AttributeError in email._header_value_parser.get_address (#134194)

Append the defect to defects instead of to the parse tree.

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-135166: Fix exception type expected by test.test_zstd (GH-135167)

gh-135161: Remove redundant NULL check for 'exc' after dereference in ceval.c (#135162)

gh-134989: Fix Py_RETURN_NONE in the limited C API (GH-135165)

Fix Py_RETURN_NONE, Py_RETURN_TRUE and Py_RETURN_FALSE macros in the
limited C API 3.11 and older:
Don't treat Py_None, Py_True and Py_False as immortal.

gh-134938: Add set_pledged_input_size() to ZstdCompressor (GH-135010)

gh-135124: Change stdout errors in regrtest worker process (#135138)

Set sys.stdout encoder error handler to backslashreplace in regrtest
workers to avoid UnicodeEncodeError when printing a traceback
or any other non-encodable character.

Move the code from the Regrtest class to setup_process().

Call setup_process() earlier, before displaying regrtest headers.