gh-100272: Fix JSON serialization of OrderedDict (GH-100273)

It now preserves the order of keys.

gh-93649: Split tracemalloc tests from _testcapimodule.c (#99551)

Docs: Use `PY_VERSION_HEX` for version comparison (#100179)

gh-97909: Fix markup for `PyMethodDef` members (#100089)

gh-99240: Reset pointer to NULL when the pointed memory is freed in argument parsing (#99890)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-99240: Reset pointer to NULL when the pointed memory is freed in argument parsing (#99890)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

GH-98831: Add DECREF_INPUTS(), expanding to DECREF() each stack input (#100205)

The presence of this macro indicates that a particular instruction
may be considered for conversion to a register-based format
(see https://github.com/faster-cpython/ideas/issues/485).

An invariant (currently unchecked) is that `DEOPT_IF()` may only
occur *before* `DECREF_INPUTS()`, and `ERROR_IF()` may only occur
*after* it. One reason not to check this is that there are a few
places where we insert *two* `DECREF_INPUTS()` calls, in different
branches of the code. The invariant checking would have to be able
to do some flow control analysis to understand this.

Note that many instructions, especially specialized ones,
can't be converted to use this macro straightforwardly.
This is because the generator currently only generates plain
`Py_DECREF(variable)` statements, and cannot generate
things like `_Py_DECREF_SPECIALIZED()` let alone deal with
`_PyList_AppendTakeRef()`.

gh-78707: deprecate passing >1 argument to `PurePath.[is_]relative_to()` (GH-94469)

This brings `relative_to()` and `is_relative_to()` more in line with other pathlib methods like `rename()` and `symlink_to()`.

Resolves #78707.

gh-99540: Constant hash for _PyNone_Type to aid reproducibility (GH-99541)

Needed for ASLR builds of Python.

gh-100039: enhance __signature__ to work with str and callables (GH-100168)

Callables should be either class- or static-methods.
Enum now uses the classmethod version to greatly improve the help
given for enums and flags.

gh-99830: asyncio: Document returns of remove_{reader,writer} (#100302)

"Compound statement" docs: Fix with-statement step indexing (#100286)

Back in commit 226e6e7d4326cf91ef37e13528eb1f62de1bb832
an item was added to the list, renumbering all the rest of the
items, but the forward-reference wasn't updated to match.

GH-90043: Handle NaNs in COMPARE_OP_FLOAT_JUMP (GH-100278)

Improve stats presentation for calls. (GH-100274)

Better stats for `LOAD_ATTR` and `STORE_ATTR` (GH-100295)

* Don't attempt to specialize for LOAD_ATTR on instance if class has attribute

* Improvement to LOAD_ATTR and STORE_ATTR specialization stats.

gh-81057: Move the Cached Parser Dummy Name to _PyRuntimeState (#100277)

Document that zipfile's pwd parameter is a `bytes` object (#100209)

gh-99767: mark `PyTypeObject.tp_watched` as internal use only in table (#100271)

Fix typo in introduction.rst (#100266)

gh-78997: AttributeError if loading fails in LibraryLoader.__getattr__

Co-authored-by: Zachary Ware <zachary.ware@gmail.com>
Co-authored-by: Filipe Laíns <filipe.lains@gmail.com>
Co-authored-by: Eric Wieser <wieser.eric@gmail.com>

GH-100234: Set a default value for random.expovariate() (GH-100235)

Remove uninformative itertools recipe (GH-100253)

GH-99767: update PyTypeObject docs for type watchers (GH-99928)

Move stats for the method cache into the `Py_STAT` machinery (GH-100255)

GH-100222: fix typo _py_set_opocde -> _py_set_opcode (GH-100259)

Typo introduced in #100223.

Automerge-Triggered-By: GH:brandtbucher

GH-100000: Cleanup and polish various watchers code (GH-99998)

* Initialize `type_watchers` array to `NULL`s
* Optimize code watchers notification
* Optimize func watchers notification

gh-90111: Minor Cleanup for Runtime-Global Objects (gh-100254)

* move _PyRuntime.global_objects.interned to _PyRuntime.cached_objects.interned_strings (and use _Py_CACHED_OBJECT())
* rename _PyRuntime.global_objects to _PyRuntime.static_objects

(This also relates to gh-96075.)

https://github.com/python/cpython/issues/90111

gh-100248: Add missing `ssl_shutdown_timeout` parameter in `asyncio` docs (#100249)

Assorted minor fixes for specialization stats. (GH-100219)

gh-100176: venv: Remove redundant compat code for Python <= 3.2 (#100177)

gh-100176: Remove redundant compat code for Python 3.2 and older

Python 3.2 has been EOL since 2016-02-20 and 2.7 since 2020-01-01, so we
can remove this old compatibility check and unindent the old else-block.

Also, in the unindented block, replace a .format() call with an f-string.

Plus similar changes in the documentation.

GH-100222: Redefine _Py_CODEUNIT as a union to clarify structure of code unit. (GH-100223)

gh-99955: undef ERROR and SUCCESS before redefining (fixes sanitizer warning) (#100215)

GH-100206: use versionadded for the addition of sysconfig.get_default_scheme (#100207)

gh-81057: Move _Py_RefTotal to the "Ignored Globals" List (gh-100203)

We can't move it to _PyRuntimeState because the symbol is exposed in the stable ABI. We'll have to sort that out before a per-interpreter GIL, but it shouldn't be too hard.

https://github.com/python/cpython/issues/81057

gh-81057: Move Signal-Related Globals to _PyRuntimeState (gh-100085)

https://github.com/python/cpython/issues/81057

gh-81057: Move faulthandler Globals to _PyRuntimeState (gh-100152)

https://github.com/python/cpython/issues/81057

gh-81057: Move tracemalloc Globals to _PyRuntimeState (gh-100151)

https://github.com/python/cpython/issues/81057

GH-100143: Improve collecting pystats for parts of runs (GH-100144)

* pystats off by default

* Add -Xpystats flag

* Always dump pystats, even if turned off

gh-99955: standardize return values of functions in compiler's code-gen (#100010)

gh-79218: Define `MS_WIN64` macro for Mingw-w64 64bit on Windows (GH-100137)

Fix: typo (Indention) (GH-99904)

Example needed to be indented. Was trying to call a context manger `pr` (from ` with cProfile.Profile() as pr:`) wot perform ` pr.print_stats()` once it had already exited.

Automerge-Triggered-By: GH:AlexWaygood

gh-96715 Remove redundant NULL check in `profile_trampoline` function (#96716)

Closes #96715

gh-100176: remove incorrect version compatibility check from argument clinic (#100190)

clarify the 4300-digit limit on int-str conversion (#100175)

gh-70393: Clarify mention of "middle" scope (#98839)

gh-99688: Fix outdated tests in test_unary (#99712)

* Remove duplicates from "L" suffix removal
* test_invert now tests `~`.

gh-100174: [Enum] Correct PowersOfThree example. (GH-100178)

Changed from multiples of 3 to powers of 3 to match the class name.

gh-88500: Reduce memory use of `urllib.unquote` (#96763)

`urllib.unquote_to_bytes` and `urllib.unquote` could both potentially generate `O(len(string))` intermediate `bytes` or `str` objects while computing the unquoted final result depending on the input provided. As Python objects are relatively large, this could consume a lot of ram.

This switches the implementation to using an expanding `bytearray` and a generator internally instead of precomputed `split()` style operations.

Microbenchmarks with some antagonistic inputs like `mess = "\u0141%%%20a%fe"*1000` show this is 10-20% slower for unquote and unquote_to_bytes and no different for typical inputs that are short or lack much unicode or % escaping. But the functions are already quite fast anyways so not a big deal.  The slowdown scales consistently linear with input size as expected.

Memory usage observed manually using `/usr/bin/time -v` on `python -m timeit` runs of larger inputs. Unittesting memory consumption is difficult and does not seem worthwhile.

Observed memory usage is ~1/2 for `unquote()` and <1/3 for `unquote_to_bytes()` using `python -m timeit -s 'from urllib.parse import unquote, unquote_to_bytes; v="\u0141%01\u0161%20"*500_000' 'unquote_to_bytes(v)'` as a test.

gh-99941: Ensure that asyncio.Protocol.data_received receives immutable bytes (#100053)

gh-99728: correct typo in `datetime` format codes documentation (#99750)

gh-99970 Adding missing `optionflags` parameter in the documentation of `doctest` (#99971)

Fix potential flakiness in `test_run_until_complete_baseexception` (#100148)

Fix potential flakiness in `test_run_until_complete_baseexception` (#100148)

Fix potential flakiness in `test_run_until_complete_baseexception` (#100148)

gh-99582: freeze `zipimport` into `_bootstrap_python` (#99583)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

gh-100049: fix `repr` for `mappingproxy` in dictionary view example doc (#100052)

gh-81057: Fix a Reference Leak in the posix Module (gh-100140)

The leak was introduced in gh-100082.

https://github.com/python/cpython/issues/81057

gh-81057: Fix the wasm32-wasi Buildbot (gh-100139)

The build was broken by gh-100084.

https://github.com/python/cpython/issues/81057

GH-98363: Shrink the physical size as well as the logical size (GH-100138)

bpo-44512: Fix handling of extrasactions arg to csv.DictWriter with mixed or upper case (#26924)

bpo-43984: Allow winreg.SetValueEx to set -1 without treating it as an error (GH-25775)

GH-98522: Add version number to code objects. (GH-98525)

* Add version number to code object for better versioning of functions.

* Improves specialization for closures and list comprehensions.

gh-88267: Avoid DLL exporting functions from static builds on Windows(GH-99888)

GH-100110: Specialize FOR_ITER for tuples (GH-100109)

* Specialize FOR_ITER for tuples

GH-100113: remove remaining `yield from` usage from `asyncio` tests  (#100114)

gh-99087: Add missing newline for prompts in docs (GH-98993)

Add newline for prompts so copying to REPL does not cause errors.

gh-81057: Fix an ifdef in the time module (#100125)

An earlier commit only defined check_ticks_per_second() when HAVE_TIMES is defined. However, we also need it when HAVE_CLOCK is defined. This primarily affects Windows.

https://github.com/python/cpython/issues/81057

gh-81057: Move Threading-Related Globals to _PyRuntimeState (#100084)

https://github.com/python/cpython/issues/81057

gh-81057: Move Ceval Trampoline Globals to _PyRuntimeState (gh-100083)

https://github.com/python/cpython/issues/81057

GH-98831: Generate things in the input order (#100123)

This makes it easier to see what changed in the generated code
when converting an instruction to super or macro.

gh-81057: Move time Globals to _PyRuntimeState (gh-100122)

https://github.com/python/cpython/issues/81057

gh-81057: Move OS-Related Globals to _PyRuntimeState (gh-100082)

https://github.com/python/cpython/issues/81057

GH-98831: Typed stack effects, and more instructions converted (#99764)

Stack effects can now have a type, e.g. `inst(X, (left, right -- jump/uint64_t)) { ... }`.

Instructions converted to the non-legacy format:

* COMPARE_OP
* COMPARE_OP_FLOAT_JUMP
* COMPARE_OP_INT_JUMP
* COMPARE_OP_STR_JUMP
* STORE_ATTR
* DELETE_ATTR
* STORE_GLOBAL
* STORE_ATTR_INSTANCE_VALUE
* STORE_ATTR_WITH_HINT
* STORE_ATTR_SLOT, and complete the store_attr family
* Complete the store_subscr family: STORE_SUBSCR{,DICT,LIST_INT}
  (STORE_SUBSCR was alread half converted,
  but wasn't using cache effects yet.)
* DELETE_SUBSCR
* PRINT_EXPR
* INTERPRETER_EXIT (a bit weird, ends in return)
* RETURN_VALUE
* GET_AITER (had to restructure it some)
  The original had mysterious `SET_TOP(NULL)` before `goto error`.
  I assume those just account for `obj` having been decref'ed,
  so I got rid of them in favor of the cleanup implied by `ERROR_IF()`.
* LIST_APPEND (a bit unhappy with it)
* SET_ADD (also a bit unhappy with it)

Various other improvements/refactorings as well.

GH-98363: Have batched() return tuples (GH-100118)

gh-96250: Improve sqlite3 injection attack example (#99270)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

test_ast uses infinite_recursion() to prevent crash (#100104)

test.test_ast_recursion_limit() now uses infinite_recursion() of
test.support to prevent crashes on debug builds.

Before this change, the test crashed on ARM64 Windows 3.x buildbot
worker which builds Python in debug mode.

Fix `test_run_until_complete_baseexception` test to check for `KeyboardInterrupt` in asyncio (#24477)

gh-100098: [Enum] insist on actual tuples, no subclasses, for auto (GH-100099)

When checking for auto() instances, only top-level usage is supported,
which means either alone or as part of a regular tuple. Other
containers, such as lists, dicts, or namedtuples, will not have auto()
transformed into a value.

gh-98030: socket: add missing TCP socket options (#98031)

A few TCP socket options have been added to the Linux kernel these last
few years.

This commit adds all the ones available in Linux 6.0:

  https://elixir.bootlin.com/linux/v6.0/source/include/uapi/linux/tcp.h#L91

While at it, the TCP_FASTOPEN option has been moved lower in the list
just to keep the same order as in tcp.h to ease future synchronisations.

Signed-off-by: Matthieu Baerts <matthieu.baerts@tessares.net>

gh-92120: The docstring of enum.Enum is invalid in reST (GH-92122)

Closes #92120

gh-98778: Update HTTPError to initialize properly even if fp is None (gh-99966)

gh-100086: Add build info to test.libregrtest (#100093)

The Python test runner (libregrtest) now logs Python build information like
"debug" vs "release" build, or LTO and PGO optimizations.

gh-81057: Move More Globals to _PyRuntimeState (gh-100092)

https://github.com/python/cpython/issues/81057

gh-90110: Clean Up the C-analyzer Globals Lists (gh-100091)

https://github.com/python/cpython/issues/90110

gh-100072: only trigger netlify builds for doc changes (#100074)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-100077: make test_code.test_invalid_bytecode more robust and maintainable (#100078)

gh-83035: handle decorator with nested parens in inspect.getsource (#99654)

gh-98724: Fix Py_CLEAR() macro side effects (#99100) (#100070)

The Py_CLEAR(), Py_SETREF() and Py_XSETREF() macros now only evaluate
their arguments once. If an argument has side effects, these side
effects are no longer duplicated.

Use temporary variables to avoid duplicating side effects of macro
arguments. If available, use _Py_TYPEOF() to avoid type punning.
Otherwise, use memcpy() for the assignment to prevent a
miscompilation with strict aliasing caused by type punning.

Add _Py_TYPEOF() macro: __typeof__() on GCC and clang.

Add test_py_clear() and test_py_setref() unit tests to _testcapi.

gh-93018: Fix for the compatibility problems with expat (gh-93900)

[Enum] Remove unused code from `test_enum.py` (GH-96986)

gh-100050: Fix an assertion error when raising unclosed parenthesis errors in the tokenizer (GH-100065)

Automerge-Triggered-By: GH:pablogsal

PyUnicode_KIND() uses _Py_RVALUE() (#100060)

The PyUnicode_KIND() macro is modified to use _Py_RVALUE(), so it can
no longer be used as a l-value.

gh-94943: [Enum] improve repr() when inheriting from a dataclass (GH-99740)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

Post 3.12.0a3

Python 3.12.0a3

gh-93453: No longer create an event loop in get_event_loop() (#98440)

asyncio.get_event_loop() now always return either running event loop or
the result of get_event_loop_policy().get_event_loop() call. The latter
should now raise an RuntimeError if no current event loop was set
instead of creating and setting a new event loop.

It affects also a number of asyncio functions and constructors which
call get_event_loop() implicitly: ensure_future(), shield(), gather(),
etc.

DeprecationWarning is no longer emitted if there is no running event loop but
the current event loop was set.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

GH-99729: Unlink frames before clearing them (GH-100030)

bpo-37860: re-add netlify.toml to set up deploy previews for docs (#92852)

* Revert "bpo-46184: remove `netlify.toml` (#30272)"

This reverts commit fbaf2e604cd354f1ebc6be029480010c6715a8ca.

* Delete runtime.txt

* Create runtime.txt

* Delete runtime.txt

* Update netlify.toml

* Update netlify.toml

* Add netlify badge

* Update Doc/tools/templates/layout.html

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
* Update layout.html

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-100008: VS 2017 is required since Python 3.11 (#100045)

GH-100026: Include the number of raw input files in summarize_stats.py (GH-100027)