GH-98363: Have batched() return tuples (GH-100118)

gh-96250: Improve sqlite3 injection attack example (#99270)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

test_ast uses infinite_recursion() to prevent crash (#100104)

test.test_ast_recursion_limit() now uses infinite_recursion() of
test.support to prevent crashes on debug builds.

Before this change, the test crashed on ARM64 Windows 3.x buildbot
worker which builds Python in debug mode.

Fix `test_run_until_complete_baseexception` test to check for `KeyboardInterrupt` in asyncio (#24477)

gh-100098: [Enum] insist on actual tuples, no subclasses, for auto (GH-100099)

When checking for auto() instances, only top-level usage is supported,
which means either alone or as part of a regular tuple. Other
containers, such as lists, dicts, or namedtuples, will not have auto()
transformed into a value.

gh-98030: socket: add missing TCP socket options (#98031)

A few TCP socket options have been added to the Linux kernel these last
few years.

This commit adds all the ones available in Linux 6.0:

  https://elixir.bootlin.com/linux/v6.0/source/include/uapi/linux/tcp.h#L91

While at it, the TCP_FASTOPEN option has been moved lower in the list
just to keep the same order as in tcp.h to ease future synchronisations.

Signed-off-by: Matthieu Baerts <matthieu.baerts@tessares.net>

gh-92120: The docstring of enum.Enum is invalid in reST (GH-92122)

Closes #92120

gh-98778: Update HTTPError to initialize properly even if fp is None (gh-99966)

gh-100086: Add build info to test.libregrtest (#100093)

The Python test runner (libregrtest) now logs Python build information like
"debug" vs "release" build, or LTO and PGO optimizations.

gh-81057: Move More Globals to _PyRuntimeState (gh-100092)

https://github.com/python/cpython/issues/81057

gh-90110: Clean Up the C-analyzer Globals Lists (gh-100091)

https://github.com/python/cpython/issues/90110

gh-100072: only trigger netlify builds for doc changes (#100074)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-100077: make test_code.test_invalid_bytecode more robust and maintainable (#100078)

gh-83035: handle decorator with nested parens in inspect.getsource (#99654)

gh-98724: Fix Py_CLEAR() macro side effects (#99100) (#100070)

The Py_CLEAR(), Py_SETREF() and Py_XSETREF() macros now only evaluate
their arguments once. If an argument has side effects, these side
effects are no longer duplicated.

Use temporary variables to avoid duplicating side effects of macro
arguments. If available, use _Py_TYPEOF() to avoid type punning.
Otherwise, use memcpy() for the assignment to prevent a
miscompilation with strict aliasing caused by type punning.

Add _Py_TYPEOF() macro: __typeof__() on GCC and clang.

Add test_py_clear() and test_py_setref() unit tests to _testcapi.

gh-93018: Fix for the compatibility problems with expat (gh-93900)

[Enum] Remove unused code from `test_enum.py` (GH-96986)

gh-100050: Fix an assertion error when raising unclosed parenthesis errors in the tokenizer (GH-100065)

Automerge-Triggered-By: GH:pablogsal

PyUnicode_KIND() uses _Py_RVALUE() (#100060)

The PyUnicode_KIND() macro is modified to use _Py_RVALUE(), so it can
no longer be used as a l-value.

gh-94943: [Enum] improve repr() when inheriting from a dataclass (GH-99740)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

Post 3.12.0a3

Python 3.12.0a3

gh-93453: No longer create an event loop in get_event_loop() (#98440)

asyncio.get_event_loop() now always return either running event loop or
the result of get_event_loop_policy().get_event_loop() call. The latter
should now raise an RuntimeError if no current event loop was set
instead of creating and setting a new event loop.

It affects also a number of asyncio functions and constructors which
call get_event_loop() implicitly: ensure_future(), shield(), gather(),
etc.

DeprecationWarning is no longer emitted if there is no running event loop but
the current event loop was set.

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

GH-99729: Unlink frames before clearing them (GH-100030)

bpo-37860: re-add netlify.toml to set up deploy previews for docs (#92852)

* Revert "bpo-46184: remove `netlify.toml` (#30272)"

This reverts commit fbaf2e604cd354f1ebc6be029480010c6715a8ca.

* Delete runtime.txt

* Create runtime.txt

* Delete runtime.txt

* Update netlify.toml

* Update netlify.toml

* Add netlify badge

* Update Doc/tools/templates/layout.html

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
* Update layout.html

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-100008: VS 2017 is required since Python 3.11 (#100045)

GH-100026: Include the number of raw input files in summarize_stats.py (GH-100027)

gh-99957: Add `frozen_default` parameter on `dataclass_transform` (#99958)

gh-100001: Remove doc typo, add versionadded (#100042)

gh-100001: Remove new doc typo, add versionadded.

gh-100001: Also escape \s in http.server log messages. (#100038)

Also \ escape \s in the http.server BaseHTTPRequestHandler.log_message so
that it is technically possible to parse the line and reconstruct what the
original data was.  Without this a \xHH is ambiguious as to if it is a hex
replacement we put in or the characters r"\x" came through in the original
request line.

gh-99984: Fix Compiler Warnings (#100036)

https://github.com/python/cpython/issues/99984

Use sphinxext-opengraph to generate OpenGraph metadata (#99931)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-100001: Omit control characters in http.server stderr logs. (#100002)

Replace control characters in http.server.BaseHTTPRequestHandler.log_message with an escaped \xHH sequence to avoid causing problems for the terminal the output is printed to.

gh-99741: Implement Multi-Phase Init for the _xxsubinterpreters Module (gh-99742)

_xxsubinterpreters is an internal module used for testing.

https://github.com/python/cpython/issues/99741

dataclasses.rst: Prevent horizontal scrolling (gh-100025)

bpo-44817: Ignore additional errors in ntpath.realpath (GH-27574)

gh-98680: Add PyBUF_* constants to the Limited API listing (GH-100018)

``PyBUF_*`` constants are marked as part of Limited API of Python 3.11+.
These were available in 3.11.0 with `Py_LIMITED_API` defined for 3.11,
and are necessary to use the buffer API. Omitting them in `stable_abi.toml`
was a mistake.

gh-60203: Revert changes in cycle.__setstate__ (#99982)

In case if only True/False be supported as boolean arguments in future,
we should continue to support 1/0 here.

gh-99892: test_unicodedata: skip test on download failure (#100011)

Skip test_normalization() of test_unicodedata if it fails to download
NormalizationTest.txt file from pythontest.net.

gh-100008: Document Python build requirements (#100009)

Document also configure --without-freelists option added to Python
3.11.

gh-100005: Skip test_script_as_dev_fd() on FreeBSD (#100006)

On FreeBSD, skip test_script_as_dev_fd() of test_cmd_line_script if
fdescfs is not mounted (at /dev/fd).

gh-93464: [Enum] Add versionchanged tag (#99997)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

no-issue: Fix typo in pycore_object.h (gh-99994)

gh-98248: Normalizing the error messages in function struct.pack (GH-98252)

Provide consistent and informative error messages in function struct.pack when its integral arguments are not in range.

[Enum] Fix typos in the documentation (GH-99960)

gh-98458: unittest: bugfix for infinite loop while handling chained exceptions that contain cycles (#98459)

* Bugfix addressing infinite loop while handling self-referencing chained exception in TestResult._clean_tracebacks()
* Bugfix extended to properly handle exception cycles in _clean_tracebacks. The "seen" set follows the approach used in the TracebackException class (thank you @iritkatriel for pointing it out)
* adds a test for a single chained exception that holds a self-loop in its __cause__ and __context__ attributes

GH-91054: Reset static events counts in code watchers tests (#99978)

gh-60203: Always pass True/False as boolean arguments in tests (GH-99983)

Unless we explicitly test non-bool values.

gh-85747: "Preface" section of asyncio-eventloop.rst: Switch to active voice and suggest other edits (#99784)

bpo-15999: Accept arbitrary values for boolean parameters. (#15609)

builtins and extension module functions and methods that expect boolean values for parameters now accept any Python object rather than just a bool or int type. This is more consistent with how native Python code itself behaves.

gh-99934: test_marshal.py: add more elements in test_deterministic_sets (GH-99935)

Existing elements do produce different output on x86_64, but they
do not on x86. Let's make the data longer to ensure it differs.

GH-66285: remove redundant `time.sleep` from `test_fork_signal_handling` (GH-99963)

GH-98831: Support cache effects in super- and macro instructions (#99601)

gh-99741: Clean Up the _xxsubinterpreters Module (gh-99940)

This cleanup up resolves a few subtle bugs and makes the implementation for multi-phase init much cleaner.

https://github.com/python/cpython/issues/99741

gh-99955: standardize return values of functions in assembler and optimizer. (#99956)

gh-99741: Fix the Cross-Interpreter Data API (gh-99939)

There were some minor issues that showed up while I was working on porting _xxsubinterpreters to multi-phase init. This fixes them.

https://github.com/python/cpython/issues/99741

GH-91054: Add code object watchers API (GH-99859)

* Add API to allow extensions to set callback function on creation and destruction of PyCodeObject

Co-authored-by: Ye11ow-Flash <janshah@cs.stonybrook.edu>

gh-99894: Ensure the local names don't collide with the test file in traceback suggestion error checking (#99895)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-99612: Fix PyUnicode_DecodeUTF8Stateful() for ASCII-only data (GH-99613)

Previously *consumed was not set in this case.

Doc: Add summary line to isolation_level & autocommit sqlite3.connect params (#99917)

Add summary lines to isolation_level and autocommit connect() params

Co-authored-by: Géry Ogam <gery.ogam@gmail.com>

GH-98906 ```re``` module: ```search() vs. match()``` section should mention ```fullmatch()``` (GH-98916)

Mention fullmatch along with search and match.

gh-89189: More compact range iterator (GH-27986)

bpo-47220: Document the optional callback parameter of weakref.WeakMethod (GH-25491)

GH-99905: Fix output of misses in summarize_stats.py execution counts (GH-99906)

This was an indentation error introduced in 2844aa6a

gh-99845: PEP 670: Convert PyObject macros to functions (#99850)

Convert macros to static inline functions to avoid macro pitfalls,
like duplication of side effects:

* _PyObject_SIZE()
* _PyObject_VAR_SIZE()

The result type is size_t (unsigned).

gh-99845: Use size_t type in __sizeof__() methods (#99846)

The implementation of __sizeof__() methods using _PyObject_SIZE() now
use an unsigned type (size_t) to compute the size, rather than a signed
type (Py_ssize_t).

Cast explicitly signed (Py_ssize_t) values to unsigned type
(Py_ssize_t).

GH-99877)

Fix typo in exception message in `multiprocessing.pool` (#99900)

gh-87092: move all localsplus preparation into separate function called from assembler stage (GH-99869)

gh-99891: Fix infinite recursion in the tokenizer when showing warnings (GH-99893)

Automerge-Triggered-By: GH:pablogsal

gh-99824: Document that sqlite3.connect implicitly open a transaction if autocommit=False (#99825)

Authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

GH-81057: remove static state from suggestions.c (#99411)

Improve zip64 limit error message (#95892)

gh-98253: Break potential reference cycles in external code worsened by typing.py lru_cache (#98591)

gh-99127: Allow some features of syslog to the main interpreter only (gh-99128)

gh-82836: fix private network check (#97733)

Fixes private checks for network objects. The previous method would incorrectly return True for a private check in cases such as "0.0.0.0/0".

Docs: improve accuracy of socketserver reference (#24767)

whatsnew-3.10: Mention PEP 647 in the Release highlights section. (#99853)

Mention PEP 647 in the Release highlights section.

Also re-ordered the list so it matches the order in the details sections below.

gh-90717: Update the documentation for the altchars paremeter in base64 library (GH-94187)

gh-99845: Clean up _PyObject_VAR_SIZE() usage (#99847)

* code_sizeof() now uses an unsigned type (size_t) to compute the result.
* Fix _PyObject_ComputedDictPointer(): cast _PyObject_VAR_SIZE() to
  Py_ssize_t, rather than long: it's a different type on 64-bit Windows.
* Clarify that _PyObject_VAR_SIZE() uses an unsigned type (size_t).

gh-99845: Change _PyDict_KeysSize() return type to size_t (#99848)

* Change _PyDict_KeysSize() and shared_keys_usable_size() return type
  from signed (Py_ssize_t) to unsigned (size_t) type.
* new_values() argument type is now unsigned (size_t).
* init_inline_values() now uses size_t rather than int for the 'i'
  iterator variable.
* type.__sizeof__() implementation now uses unsigned (size_t) type.

GH-91375: Port `_asyncio` static types to heap types and module state (#99122)

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

gh-99593: Add tests for Unicode C API (part 1) (GH-99651)

Add tests for functions corresponding to the str class methods.

gh-99344, gh-99379, gh-99382: Fix issues in substitution of ParamSpec and TypeVarTuple (GH-99412)

* Fix substitution of TypeVarTuple and ParamSpec together in user generics.

* Fix substitution of ParamSpec followed by TypeVarTuple in generic aliases.

* Check the number of arguments in substitution in user generics containing a
  TypeVarTuple and one or more TypeVar.

gh-99811: Use correct variable to search for time in format string (GH-99812)

Use correct variable to search for asctime

`fnmatch` docs: link to `fnmatch.filter()`, not `builtins.filter()` (#99819)

Use _Py_RVALUE() in macros (#99844)

The following macros are modified to use _Py_RVALUE(), so they can no
longer be used as l-value:

* DK_LOG_SIZE()
* _PyCode_CODE()
* _PyList_ITEMS()
* _PyTuple_ITEMS()
* _Py_SLIST_HEAD()
* _Py_SLIST_ITEM_NEXT()

_PyCode_CODE() is private and other macros are part of the internal
C API.

Grammatical improvements for ctypes 'winmode' documentation (GH-19167)

gh-89653: PEP 670: Convert macros to functions (#99843)

Convert macros to static inline functions to avoid macro pitfalls,
like duplication of side effects:

* DK_ENTRIES()
* DK_UNICODE_ENTRIES()
* PyCode_GetNumFree()
* PyFloat_AS_DOUBLE()
* PyInstanceMethod_GET_FUNCTION()
* PyMemoryView_GET_BASE()
* PyMemoryView_GET_BUFFER()
* PyMethod_GET_FUNCTION()
* PyMethod_GET_SELF()
* PySet_GET_SIZE()
* _PyHeapType_GET_MEMBERS()

Changes:

* PyCode_GetNumFree() casts PyCode_GetNumFree.co_nfreevars from int
  to Py_ssize_t to be future proof, and because Py_ssize_t is
  commonly used in the C API.
* PyCode_GetNumFree() doesn't cast its argument: the replaced macro
  already required the exact type PyCodeObject*.
* Add assertions in some functions using "CAST" macros to check
  the arguments type when Python is built with assertions
  (debug build).
* Remove an outdated comment in unicodeobject.h.

bpo-31718: Fix io.IncrementalNewlineDecoder SystemErrors and segfaults (#18640)

Co-authored-by: Oren Milman <orenmn@gmail.com>
Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-41825: restructure docs for the os.wait*() family (GH-22356)

gh-99249: Clarify "read-only" slots tp_bases & tp_mro (GH-99342)

These slots are marked "should be treated as read-only" in the
table at the start of the document.  That doesn't say anything about
setting them in the static struct.

`tp_bases` docs did say that it should be ``NULL`` (TIL!). If you
ignore that, seemingly nothing bad happens. However, some slots
may not be inherited, depending on which sub-slot structs are present.
(FWIW, NumPy sets tp_bases and is affected by the quirk -- though to
be fair, its DUAL_INHERIT code probably predates tp_bases docs, and
also the result happens to be benign.)

This patch makes things explicit.
It also makes the summary table legend easier to scan.

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

gh-51524: Fix bug when calling trace.CoverageResults with valid infile (#99629)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

Docs: both sqlite3 "point examples" now adapt to str (#99823)

gh-91340: Document multiprocessing.set_start_method force parameter (GH-32339)

#91340

https://bugs.python.org/issue47184

Automerge-Triggered-By: GH:kumaraditya303

Docs: Move .PHONY to each section to avoid copy/paste omissions (#99396)

gh-99677: Deduplicate self-type in `mro` in `inspect._getmembers` (#99678)

Closes #99677

gh-99815: remove unused 'invalid' sentinel value and code that checks for it in inspect.signature parsing (GH-21104)

GH-87235: Make sure "python /dev/fd/9 9</path/to/script.py" works on macOS (#99768)

On macOS all file descriptors for a particular file in /dev/fd
share the same file offset, that is ``open("/dev/fd/9", "r")`` behaves
more like ``dup(9)`` than a regular open.

This causes problems when a user tries to run "/dev/fd/9" as a script
because zipimport changes the file offset to try to read a zipfile
directory. Therefore change zipimport to reset the file offset after
trying to read the zipfile directory.

Remove unused local variables in inspect.py (#24218)