test_peg_generator and test_freeze require cpu (#108386)

The test_peg_generator and test_tools.test_freeze tests now require
the 'cpu' resource. Skip these tests unless the 'cpu' resource is
enabled (it is disabled by default).

These tests are no longer skipped if Python is built with ASAN or
MSAN sanitizer.

gh-108253: Fix reads of uninitialized memory in funcobject.c (#108383)

gh-108240: Add _PyCapsule_SetTraverse() internal function (#108339)

The _socket extension uses _PyCapsule_SetTraverse() to visit and clear
the socket type in the garbage collector. So the _socket.socket type
can be cleared in some corner cases when it wasn't possible before.

gh-70766: Mention the object getstate caveat in 3.11 What's new. (#108379)

gh-108308: Use PyDict_GetItemRef() in moduleobject.c (#108381)

Replace PyDict_GetItemWithError() with PyDict_GetItemRef() which
returns a strong reference.

Cleanup also the function: move variable definition to their first
assignation, rename variable names to use name longer than 1
character.

gh-108342: Make ssl TestPreHandshakeClose more reliable (#108370)

* In preauth tests of test_ssl, explicitly break reference cycles
  invoving SingleConnectionTestServerThread to make sure that the
  thread is deleted. Otherwise, the test marks the environment as
  altered because the threading module sees a "dangling thread"
  (SingleConnectionTestServerThread). This test leak was introduced
  by the test added for the fix of issue gh-108310.
* Use support.SHORT_TIMEOUT instead of hardcoded 1.0 or 2.0 seconds
  timeout.
* SingleConnectionTestServerThread.run() catchs TimeoutError
* Fix a race condition (missing synchronization) in
  test_preauth_data_to_tls_client(): the server now waits until the
  client connect() completed in call_after_accept().
* test_https_client_non_tls_response_ignored() calls server.join()
  explicitly.
* Replace "localhost" with server.listener.getsockname()[0].

gh-108308: config_dict_get() uses PyDict_GetItemRef() (#108371)

Replace _PyDict_GetItemStringWithError() with PyDict_GetItemRef() in
config_dict_get() to get a strong reference to the item.

gh-108308: Replace _PyDict_GetItemStringWithError() (#108372)

Replace _PyDict_GetItemStringWithError() calls with
PyDict_GetItemStringRef() which returns a strong reference to the
item.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-77377: Ensure multiprocessing SemLock is valid for spawn-based Process before serializing it (#107275)

Ensure multiprocessing SemLock is valid for spawn Process before serializing it.

Creating a multiprocessing SemLock with a fork context, and then trying to pass it to a spawn-created Process, would segfault if not detected early.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Antoine Pitrou <pitrou@free.fr>

gh-107811: tarfile: treat overflow in UID/GID as failure to set it (#108369)

gh-105481: remove regen-opcode. Generated _PyOpcode_Caches in regen-cases. (#108367)

gh-107298: Fix a few more refs in the C API docs (GH-108361)

gh-107298: Fix few more refs in the C API docs

gh-107265: Ensure de_instrument does not handle ENTER_EXECUTOR (#108366)

gh-108303: Move `ann_module*.py` files to `typinganndata/` folder (#108354)

gh-108308: Replace PyDict_GetItem() with PyDict_GetItemRef() (#108309)

Replace PyDict_GetItem() calls with PyDict_GetItemRef()
or PyDict_GetItemWithError() to handle errors.

* Replace PyLong_AS_LONG() with _PyLong_AsInt()
  and check for errors.
* Check for PyDict_Contains() error.
* pycore_init_builtins() checks for _PyType_Lookup() failure.

gh-50002: xml.dom.minidom now preserves whitespaces in attributes (GH-107947)

Also double quotes (") are now only quoted in attributes.

gh-105539: Fix ResourceWarning from unclosed SQLite connections in test_sqlite3 (#108360)

Follow up to 1a1bfc28912a39b500c578e9f10a8a222638d411.

Explicitly manage connections in:

- test_audit.test_sqlite3
- test_sqlite3.test_audit
- test_sqlite3.test_backup

Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-108294: Add time.sleep audit event (GH-108298)

gh-108113: Make it possible to optimize an AST (#108282)

gh-108267: Dataclasses docs: Fix object.__setattr__ typo (#108355)

Fixed a sentence in dataclasses.rst

Changed "__setattr__" to "object.__setattr__" in a section that was specifically supposed to refer to the __setattr__ method of the object class. Also suppressed the link to the data model docs for __setattr__, since we're talking about a specific __setattr__ implementation, not __setattr__ methods in general.

gh-108342: Break ref cycle in SSLSocket._create() exc (#108344)

Explicitly break a reference cycle when SSLSocket._create() raises an
exception. Clear the variable storing the exception, since the
exception traceback contains the variables and so creates a reference
cycle.

This test leak was introduced by the test added for the fix of #108310.

gh-105776: Fix test_cppext when CC contains -std=c11 option (#108343)

Fix test_cppext when the C compiler command has the "-std=c11" option.
Remove "-std=" options from the compiler command.

gh-90791: test.pythoninfo logs ASAN_OPTIONS env var (#108289)

* Cleanup libregrtest code logging ASAN_OPTIONS.
* Fix a typo on "ASAN_OPTIONS" vs "MSAN_OPTIONS".

Fix spurious diff if the cases generator is run on Windows (#108319)

gh-107136: Remove Plausible for docs metrics (#107856)

GH-92584: Remove distutils from the newtypes tutorial includes (#108024)

gh-105857: Document that asyncio subprocess std{in,out,err} can be file handles (#107986)

stdin/out can be filehandles -> add to docs.

Document 3.13, 3.14 and future removals (#108055)

Docs: Add link to skip to datetime's format codes (#108027)

gh-108303: Add Lib/test/test_cppext/ sub-directory (#108325)

* Move test_cppext to its own directory
* Rename setup_testcppext.py to setup.py
* Rename _testcppext.cpp to extension.cpp
* The source (extension.cpp) is now also copied by the test.

gh-89745: Remove commented code in getpath.c (#108307)

gh-106320: Remove _PyDict_GetItemStringWithError() function (#108313)

Remove private _PyDict_GetItemStringWithError() function of the
public C API: the new PyDict_GetItemStringRef() can be used instead.

* Move private _PyDict_GetItemStringWithError() to the internal C API.
* _testcapi get_code_extra_index() uses PyDict_GetItemStringRef().
  Avoid using private functions in _testcapi which tests the public C
  API.

gh-108310: Fix CVE-2023-40217: Check for & avoid the ssl pre-close flaw (#108315)

Instances of `ssl.SSLSocket` were vulnerable to a bypass of the TLS handshake
and included protections (like certificate verification) and treating sent
unencrypted data as if it were post-handshake TLS encrypted data.

The vulnerability is caused when a socket is connected, data is sent by the
malicious peer and stored in a buffer, and then the malicious peer closes the
socket within a small timing window before the other peers’ TLS handshake can
begin. After this sequence of events the closed socket will not immediately
attempt a TLS handshake due to not being connected but will also allow the
buffered data to be read as if a successful TLS handshake had occurred.

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

gh-108303: Remove unused Lib/test/sgml_input.html (#108305)

In Python 2.7, the file was used by Lib/test/test_sgmllib.py to test
Lib/sgmllib.py. The sgmllib module and its tests have been removed in
Python 3.0.

gh-108253: Fix bug in func version cache (#108296)

When a function object changed its version, a stale pointer might remain in the cache.
Zap these whenever `func_version` changes (even when set to 0).

gh-106016: Add Lib/test/test_module/ directory (#108293)

* Move Python scripts related to test_module to this new directory:
  good_getattr.py and bad_getattrX.py scripts.
* Move Lib/test/test_module.py to Lib/test/test_module/__init__.py.

gh-107700: [Enum] Document that `EnumType` was added in 3.11 (GH-108260)

Ignore _Py_write_noraise() result: cast to (void) (#108291)

Code using _Py_write_noraise() usually cannot report. Ignore errors
is the least surprising behavior for users.

gh-90791: Enable test___all__ on ASAN build (#108286)

* Only skip modules and tests related to X11 on ASAN builds: run
  other tests with ASAN.
* Use print(flush=True) to see output earlier when it's redirected to
  a pipe.
* Update issue reference: replace bpo-46633 with gh-90791.

Docs: align the param spec of sqlite3.Connection methods with the implementation (#108285)

- no parameters of create_aggregate() are positional-only
- all parameters of create_collation() are positional-only

gh-107298: Fix numerous ref errors and typos in the C API docs (GH-108258)

gh-106971: Docs: Add missing issue reference (#106992)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-105539: Emit ResourceWarning if sqlite3 database is not closed explicitly (#108015)

gh-108179: Add error message for parser stack overflows (#108256)

gh-107801: Improve the accuracy of io.TextIOWrapper.seek docs (#107933)

Clearly document the supported seek() operations:

- Rewind to the start of the stream
- Restore a previous stream position (given by tell())
- Fast-forward to the end of the stream

Fix test_faulthandler for sanitizers (#108245)

Set environment options to ask sanitizers to not handle SIGSEGV.

This change allows running test_enable_fd() and test_enable_file()
with sanitizers. Previously, they were skipped.

Define _Py_NULL as nullptr on C23 and newer (#108244)

C23 standard added nullptr constant:
https://en.wikipedia.org/wiki/C23_(C_standard_revision)

gh-106242: Make ntpath.realpath errors consistent with abspath when there are embedded nulls (GH-108248)

* gh-106242: Make ntpath.realpath errors consistent with abspath when there are embedded nulls

* Update 2023-08-22-00-36-57.gh-issue-106242.q24ITw.rst

mention Windows and the former incorrect ValueError.

---------

Co-authored-by: Gregory P. Smith <greg@krypto.org>

Fix test_generators: save/restore warnings filters (#108246)

Previously, depending on existing filters, the test
could modify the warnings and so fail as "env changed".

gh-107901: Fix missing line number on BACKWARD_JUMP at the end of a for loop (#108242)

gh-107265: Fix code_hash for ENTER_EXECUTOR case (#108188)

gh-108223: Document --disable-gil flag in configure (#108236)

gh-108223: test.pythoninfo and libregrtest log Py_NOGIL (#108238)

Enable with --disable-gil --without-pydebug:

    $ make pythoninfo|grep NOGIL
    sysconfig[Py_NOGIL]: 1

    $ ./python -m test
    ...
    == Python build: nogil debug
    ...

gh-107298: Fix C API datetime documentation (GH-108034)

gh-107211: No longer export pycore_strhex.h functions (#108229)

No longer export functions:

* _Py_strhex_bytes()
* _Py_strhex_with_sep()

gh-108224: Fix asyncio doc inconsistency (#108230)

(Spawning subprocesses does not require the event loop to run in the main thread -- only signal handling does.)

gh-108216: Cleanup #include in internal header files (#108228)

* Add missing includes.
* Remove unused includes.
* Update old include/symbol names to newer names.
* Mention at least one included symbol.
* Sort includes.
* Update Tools/cases_generator/generate_cases.py used to generated
  pycore_opcode_metadata.h.
* Update Parser/asdl_c.py used to generate pycore_ast.h.
* Cleanup also includes in _testcapimodule.c and _testinternalcapi.c.

gh-108223: Add --disable-gil to configure (gh-108227)

The `--disable-gil` flags does not do anything yet other than define the
Py_NOGIL macro. This is intended to support setting up additional
buildbots.

gh-108220: Internal header files require Py_BUILD_CORE to be defined (#108221)

* pycore_intrinsics.h does nothing if included twice
  (add #ifndef and #define).
* Update Tools/cases_generator/generate_cases.py to generate the
  Py_BUILD_CORE test.
* _bz2, _lzma, _opcode and zlib extensions now define the
  Py_BUILD_CORE_MODULE macro to use internal headers
  (pycore_code.h, pycore_intrinsics.h and pycore_blocks_output_buffer.h).

gh-107298: Fix references to deprecated and removed PyUnicode C API (GH-108077)

gh-108113: Make it possible to create an optimized AST (#108154)

docs: fix grammar in isolating-extensions.rst (#108037)

gh-95065, gh-107704: Argument Clinic: support multiple '/ [from ...]' and '* [from ...]' markers (GH-108132)

gh-107905: Test raising `__value__` for `TypeAliasType` (#107997)

Run sphinx-lint on Misc/NEWS.d/next/ (#108212)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-107396: tarfiles: set self.exception before _init_read_gz() (GH-107485)

In the stack call of: _init_read_gz()
```
_read, tarfile.py:548
read, tarfile.py:526
_init_read_gz, tarfile.py:491
```
a try;except exists that uses `self.exception`, so it needs to be set before
calling _init_read_gz().

gh-107916: Save the error code before decoding the filename in PyErr_SetFromErrnoWithFilename() etc (GH-107929)

gh-107845: Fix symlink handling for tarfile.data_filter (GH-107846)

Co-authored-by: Victor Stinner <vstinner@python.org>
Co-authored-by: Lumír 'Frenzy' Balhar <frenzy.madness@gmail.com>

Improve references in the tutorial (GH-108069)

* Use full qualified names for references (even if they do not work now,
  they will work in future).
* Silence references to examples.

gh-105736: Sync pure python version of OrderedDict with the C version (#108098)

gh-107895: Fix test_asyncio.test_runners when run it in CPython's "development mode" (GH-108168)

Resolve reference warnings in faq/gui.rst (#108147)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-107265: Fix code_richcompare for ENTER_EXECUTOR case (gh-108165)

gh-107526: Fix test_module_level_callable_unrepresentable_default (gh-108187)

gh-107526: Revert "gh-100357: Convert several functions in bltinsmodule to AC" (#107542)

gh-104504: cases generator: Add `--warn-unreachable` to the mypy config (#108112)

Resolve reference warnings in faq/library.rst (#108149)

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

Resolve reference warnings in faq/design.rst (#108148)

Docs: document 'manager' and '_log' attrs of logging.Logging (#108145)

Authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

Resolve reference warnings in faq/programming.rst (#108150)

Docs: Fix Sphinx warnings in logging.rst (GH-108139)

Co-authored-by: Adam Turner <9087854+aa-turner@users.noreply.github.com>

Docs: Fix Sphinx warnings in license.rst (#108142)

- Fix links to stdlib modules
- Silence links to external functions

Docs: Fix Sphinx warnings in sys.rst (#108106)

- Mark up named tuple attributes as attributes
- Remove links for external functions
- io.BufferedIOBase has no 'buffer' attribute;
  remove the link and mark up using :attr:`!buffer`
- (Re)format some tables as bullet lists:
  - sys._emscripten_info
  - sys.hash_info
  - sys.int_info
  - sys.thread_info
- In the paragraphs mentioning 'f_trace_lines' and 'f_trace_opcodes',
  add links to the frame objects reference.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-107659: Improve wording of the description of `ctypes.pointer` and `ctypes.POINTER` (#107769)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-107619: Extend functools LRU cache docs with generators and async functions (#107934)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Kumar Aditya <kumaraditya@python.org>

Fix patchcheck for `asyncio.tasks` (#108159)

Fix misspellings in sysconfig docs (#108156)

gh-107980: fix doc role for asyncio.timeouts (#108126)

Docs: Remove links to external C functions and macros in os.rst (#108138)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-107915: Handle errors in C API functions PyErr_Set*() and PyErr_Format() (GH-107918)

Such C API functions as PyErr_SetString(), PyErr_Format(),
PyErr_SetFromErrnoWithFilename() and many others no longer crash or
ignore errors if it failed to format the error message or decode the
filename. Instead, they keep a corresponding error.

gh-72684: Tkinter: provide interface for "tk busy" subcommands (GH-107684)

Add tkinter.Misc methods: tk_busy_hold(), tk_busy_configure(), tk_busy_cget(),
tk_busy_forget(), tk_busy_current(), and tk_busy_status().

Docs: format sys.float_info properly (#108107)

- Normalise capitalisation and punctuation
- Use attribute markup for named tuple attributes
- Use :c:macro: markup for C macros
- Use a list for the 'rounds' attribute values
- Use list-table, for better .rst readability
- Remove one unneeded sys.float_info.dig link

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-107704: Argument Clinic: add support for deprecating keyword use of parameters (GH-107984)

It is now possible to deprecate passing keyword arguments for
keyword-or-positional parameters with Argument Clinic, using the new
'/ [from X.Y]' syntax.
(To be read as "positional-only from Python version X.Y")

Co-authored-by: Erlend E. Aasland <erlend@python.org>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-101100: Only show GitHub check annotations on changed doc paragraphs (#108065)

* Only show GitHub check annotations on changed doc paragraphs
* Improve check-warnings script arg parsing following Hugo's suggestions
* Factor filtering warnings by modified diffs into helper function
* Build docs on unmerged branch so warning lines match & avoid deep clone

---------

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-107565: Update macOS installer to use OpenSSL 3.0.10. (GH-107897)

gh-107565: Update multissltests and GitHub CI workflows to use OpenSSL 1.1.1v, 3.0.10, and 3.1.2. (GH-107896)

gh-107801: Improve the accuracy of os.lseek docs (#107935)

- name the last parameter *whence*, like it is for seek() methods on
  file objects
- add param docstrings
- structure the valid *whence* params

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

Minor code clean-up for the factor() recipe (GH-108114)

gh-107995: Fix doctest collection of functools.cached_property objects (#107996)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-104504: Run mypy on cases_generator in CI (and blacken the code) (gh-108090)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>