gh-117657:  Fix `__slots__` thread safety in free-threaded build (#119368)

Fix a race in `PyMember_GetOne` and `PyMember_SetOne` for `Py_T_OBJECT_EX`.
These functions implement `__slots__` accesses for Python objects.

gh-117657: Fix TSan reported data race on ioctl_works (#120175)

gh-120417: Remove unused imports in Tools (#120623)

gh-120507: Double WASI memory (#120648)

Use 16 MiB stack with 40 MiB memory limit, instead of 8 MiB stack
with 20 MiB memory limit.

fix enum doc typo (#120091)

gh-115649: Copy the filename into main interpreter before intern in import.c (#120315)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-120433: Mention ``chocolatey`` for installing llvm on Windows as an alternative option (#120434)

gh-120417: Remove unused imports in tests (part 4) (#120632)

 gh-119182: Add PyUnicodeWriter C API (#119184)

gh-114091: Reword error message for unawaitable types (#114090)

Reword error message for unawaitable types.

Update the documentation howto index page and group docs into 3 logical sections (GH-119366)

Co-authored-by: Ned Batchelder <ned@nedbatchelder.com>

gh-119933: Improve ``SyntaxError`` message for invalid type parameters expressions (#119976)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-120619: Clean up `RETURN_VALUE` instruction (GH-120624)

* Rename _POP_FRAME to _RETURN_VALUE as it returns a value as well as popping a frame.

* Remove remaining _POP_FRAMEs

itertools doc: examples for groupby() and tee() (#120618)

gh-120196: Reuse find_max_char() for bytes objects (#120497)

gh-120367: fix removal of redundant NOPs and jumps after reordering hot-cold blocks (#120425)

gh-83754: Use the Py_TYPE() macro (#120599)

Don't access directly PyObject.ob_type, but use the Py_TYPE() macro
instead.

gh-120586: Fix several "unused function" warnings in `posixmodule.c` (#120588)

gh-112346: Document the OS byte in `gzip.compress` output change in 3.11 (#120480)

gh-112346: Describe the "os" byte in gzip output change.

gh-120567: Clarify weekday return in calendar.monthrange docstring (#120570)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-118596: Add thread-safety clarifications to the SSLContext documentation (#118597)

Add thread-safety clarifications to the SSLContext documentation. Per the issue:

This issue has also come up [here](https://github.com/psf/requests/pull/6667) where the matter was clarified by @tiran in [this comment](https://github.com/psf/requests/pull/6667):
> `SSLContext` is designed to be shared and used for multiple connections. It is thread safe as long as you don't reconfigure it once it is used by a connection. Adding new certs to the internal trust store is fine, but changing ciphers, verification settings, or mTLS certs can lead to surprising behavior. The problem is unrelated to threads and can even occur in a single-threaded program.

gh-120568: fix file leak in PyUnstable_CopyPerfMapFile (#120569)

gh-120584: Fix "unused thread_critical_sections" warning in `test_critical_sections` (#120585)

Docs: remove temporary hardcoded links (#120348)

gh-120485: Add an override of `allow_reuse_port` on classes subclassing `socketserver.TCPServer` (GH-120488)

Co-authored-by: Vinay Sajip <vinay_sajip@yahoo.co.uk>

gh-120579: Guard `_testcapi` import in `test_free_threading` (#120580)

gh-120360: Add self as IDLE doc owner (#120571)

Add self as IDLE doc owner

gh-120572: add missing parentheses in TypeIs documentation (#120573)

gh-112346: Always set OS byte to 255, simpler gzip.compress function. (GH-120486)

This matches the output behavior in 3.10 and earlier; the optimization in 3.11 allowed the zlib library's "os" value to be filled in instead in the circumstance when mtime was 0.  this keeps things consistent.

gh-120541: Improve the "less" prompt in pydoc (GH-120543)

When help() is called with non-string argument, use __qualname__ or
__name__ if available, otherwise use "{typename} object".

annotations: expand documentation on "simple" assignment targets (#120535)

This behavior is rather surprising and it was not clearly specified.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-117657: Make PyType_HasFeature (exported version) atomic (#120484)

Make PyType_HasFeature (exported version) atomic

Add some more edge-case tests for `inspect.get_annotations` with `eval_str=True` (#120550)

gh-120495: Fix incorrect exception handling in Tab Nanny (#120498)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-120544: Add `else: fail()` to tests where exception is expected (#120545)

gh-120526: Correct signature of map() builtin (GH-120528)

map() requires at least one iterable arg.

Signed-off-by: Adam Williamson <awilliam@redhat.com>

gh-117398: Use the correct module loader for iOS in datetime CAPI test. (#120477)

Use the correct loader for iOS.

gh-119819: Conditional skip of logging tests that require multiprocessing subprocess support (#120476)

Skip tests that require multiprocessing subprocess support.

gh-120524: Temporarily Skip test_create_many_threaded In test_interpreters.test_stress (gh-120525)

gh-120161: Fix a Crash in the _datetime Module (gh-120182)

In gh-120009 I used an atexit hook to finalize the _datetime module's static types at interpreter shutdown.  However, atexit hooks are executed very early in finalization, which is a problem in the few cases where a subclass of one of those static types is still alive until the final GC collection.  The static builtin types don't have this probably because they are finalized toward the end, after the final GC collection.  To avoid the problem for _datetime, I have applied a similar approach here.

Also, credit goes to @mgorny and @neonene for the new tests.

FYI, I would have liked to take a slightly cleaner approach with managed static types, but wanted to get a smaller fix in first for the sake of backporting.  I'll circle back to the cleaner approach with a future change on the main branch.

gh-120417: Fix "imported but unused" linter warnings (#120461)

Add __all__ to the following modules:
importlib.machinery, importlib.util and xml.sax.

Add also "# noqa: F401" in collections.abc,
subprocess and xml.sax.

* Sort __all__; remove collections.abc.__all__; remove private names

* Add tests

gh-119824: Print stack entry when user input is needed (#119882)

Co-authored-by: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>

gh-120361: Add `nonmember` test with enum flags inside to `test_enum` (GH-120364)

* gh-120361: Add `nonmember` test with enum flags inside to `test_enum`

GH-73991: Add `pathlib.Path.copy()` (#119058)

Add a `Path.copy()` method that copies the content of one file to another.

This method is similar to `shutil.copyfile()` but differs in the following ways:

- Uses `fcntl.FICLONE` where available (see GH-81338)
- Uses `os.copy_file_range` where available (see GH-81340)
- Uses `_winapi.CopyFile2` where available, even though this copies more metadata than the other implementations. This makes `WindowsPath.copy()` more similar to `shutil.copy2()`.

The method is presently _less_ specified than the `shutil` functions to allow OS-specific optimizations that might copy more or less metadata.

Incorporates code from GH-81338 and GH-93152.

Co-authored-by: Eryk Sun <eryksun@gmail.com>

gh-117657: Add TSAN suppression for set_default_allocator_unlocked (#120500)

Add TSAN suppression for set_default_allocator_unlocked

Update tests for the itertools docs rough equivalents (#120509)

Stronger tests for the statistics kernel formulas (gh-120506)

gh-114053: Fix bad interaction of PEP 695, PEP 563 and `inspect.get_annotations` (#120270)

GH-119054: Add "Renaming and deleting" section to pathlib docs. (#120465)

Add dedicated subsection for `pathlib.Path.rename()`, `replace()`,
`unlink()` and `rmdir()`.

gh-120012: clarify the behaviour of `multiprocessing.Queue.empty` on closed queues. (GH-120102)

* improve doc for `multiprocessing.Queue.empty`
* add tests for checking emptiness of queues

Co-authored-by: Gregory P. Smith <greg@krypto.org>

Add codeowner for Makefile.pre.in and Modules/Setup* (#120468)

gh-117398: Add datetime C-API type check test for subinterpreters (gh-119604)

Check if the DateTime C-API type matches the datetime.date type on main and shared/isolated subinterpreters.

GH-119054: Add "Creating files and directories" section to pathlib docs. (#120186)

Add dedicated subsection for `pathlib.Path.touch()`, `mkdir()`,
`symlink_to()` and `hardlink_to()`. Also note that `open()`, `write_text()`
and `write_bytes()` are often used to create files.

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-120397: Fix typo in NEWS entry (#120455)

gh-120397: Optimize str.count() for single characters (#120398)

gh-120417: Add #noqa to used imports in the stdlib (#120421)

Tools such as ruff can ignore "imported but unused" warnings if a
line ends with "# noqa: F401". It avoids the temptation to remove
an import which is used effectively.

gh-119146: Update ``regexp`` in `build.yml` to not trigger the jobs on `*.md` and `*.ini` files. (#120435)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

Fix typos in documentation (GH-120440)

gh-117657: Fix some simple races in instrumentation.c (GH-120118)

* stop the world when setting local events

gh-117657: Make PyType_HasFeature atomic (GH-120210)

Make PyType_HasFeature atomic

gh-120418: Don't assume wheeldata is deleted if `WHEEL_PKG_DIR` is set (#120419)

Remove wheeldata from both sides of the `assertEqual`, so that we're
*actually* ignoring it from the test set.

This test is only making assertions about the source tree, no code is
being executed that would do anything different based on the value of
`WHEEL_PKG_DIR`.

gh-118908: Protect the REPL subprocess with a timeout in tests (#120408)

gh-120417: Remove unused imports in the stdlib (#120420)

gh-120343: Fix column offsets of multiline tokens in tokenize (#120391)

gh-71587: Drop local reference cache to `_strptime` module in `_datetime` (gh-120224)

The _strptime module object was cached in a static local variable (in the datetime.strptime() implementation).  That's a problem when it crosses isolation boundaries, such as reinitializing the runtme or between interpreters.  This change fixes the problem by dropping the static variable, instead always relying on the normal sys.modules cache (via PyImport_Import()).

gh-120388: Improve deprecation warning message, when test returns non-None (#120401)

Co-authored-by: Alex Waygood <alex.waygood@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-120345: Fix incorrect use of the :class: role with the "()" suffix (GH-120347)

* Remove "()" when refer to a class as a type.
* Use :func: when refer to a callable.
* Fix reference to the datetime.astimezone() method.

gh-120155: Add assertion to sre.c match_getindex() (#120402)

Add an assertion to help static analyzers to detect that i*2 cannot
overflow.

gh-120400 ：Support Linux perf profile to see Python calls on RISC-V architecture (#120089)

Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>

gh-120029: remove unused macros in ``symtable.c`` (#120222)

Co-authored-by: Carl Meyer <carl@oddbird.net>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-117657: Make Py_TYPE and Py_SET_TYPE thread safe (GH-120165)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Nadeshiko Manju <me@manjusaka.me>

Fix typos in documentation (#120338)

gh-93691: fix too broad source locations of for statement iterators (#120330)

gh-120029: make `symtable.Symbol.__repr__` correctly reflect the compiler's flags, add methods  (#120099)

Expose :class:`symtable.Symbol` methods :meth:`~symtable.Symbol.is_free_class`,
:meth:`~symtable.Symbol.is_comp_iter` and :meth:`~symtable.Symbol.is_comp_cell`.

---------

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-101575: document Decimal.__round__() (GH-101737)

gh-118908: Fix completions after namespace change in REPL (#120370)

gh-120385: Fix reference leak in symtable (#120386)

Decref 'new_ste' if symtable_visit_annotations() fails.

gh-120056: Add `IP_RECVERR`, `IP_RECVORIGDSTADDR`, `IP_RECVTTL` to `socket` module (#120058)

* gh-120056: Add `IP_RECVERR` and `IP_RECVTTL` to `socket` module

* Fix news

* Address review

* Update NEWS

gh-120221: Deliver real singals on Ctrl-C and Ctrl-Z in the new REPL (#120354)

gh-120198: Fix race condition when editing __class__ with an audit hook active (GH-120195)

gh-120326: Include <intrin.h> on Windows with Free Threading (#120329)

gh-118908: Limit exposed globals from internal imports and definitions on new REPL startup (#119547)

Fix typo in ElementTree docs (#120342)

gh-120343: Do not reset byte_col_offset_diff after multiline tokens (#120352)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-119517: Fixes for pasting in pyrepl (#120253)

* Remove pyrepl's optimization for self-insert

This will be replaced by a less specialized optimization.

* Use line-buffering when pyrepl echoes pastes

Previously echoing was totally suppressed until the entire command had
been pasted and the terminal ended paste mode, but this gives the user
no feedback to indicate that an operation is in progress. Drawing
something to the screen once per line strikes a balance between
perceived responsiveness and performance.

* Remove dead code from pyrepl

`msg_at_bottom` is always true.

* Speed up pyrepl's screen rendering computation

The Reader in pyrepl doesn't hold a complete representation of the
screen area being drawn as persistent state. Instead, it recomputes it,
on each keypress. This is fast enough for a few hundred bytes, but
incredibly slow as the input buffer grows into the kilobytes (likely
because of pasting).

Rather than making some expensive and expansive changes to the repl's
internal representation of the screen, add some caching: remember some
data from one refresh to the next about what was drawn to the screen
and, if we don't find anything that has invalidated the results that
were computed last time around, reuse them. To keep this caching as
simple as possible, all we'll do is look for lines in the buffer that
were above the cursor the last time we were asked to update the screen,
and that are still above the cursor now. We assume that nothing can
affect a line that comes before both the old and new cursor location
without us being informed. Based on this assumption, we can reuse old
lines, which drastically speeds up the overwhelmingly common case where
the user is typing near the end of the buffer.

* Speed up pyrepl prompt drawing

Cache the `can_colorize()` call rather than repeatedly recomputing it.
This call looks up an environment variable, and is called once per
character typed at the REPL. The environment variable lookup shows up as
a hot spot when profiling, and we don't expect this to change while the
REPL is running.

* Speed up pasting multiple lines into the REPL

Previously, we were checking whether the command should be accepted each
time a line break was encountered, but that's not the expected behavior.
In bracketed paste mode, we expect everything pasted to be part of
a single block of code, and encountering a newline shouldn't behave like
a user pressing <Enter> to execute a command. The user should always
have a chance to review the pasted command before running it.

* Use a read buffer for input in pyrepl

Previously we were reading one byte at a time, which causes much slower
IO than necessary. Instead, read in chunks, processing previously read
data before asking for more.

* Optimize finding width of a single character

`wlen` finds the width of a multi-character string by adding up the
width of each character, and then subtracting the width of any escape
sequences. It's often called for single character strings, however,
which can't possibly contain escape sequences. Optimize for that case.

* Optimize disp_str for ASCII characters

Since every ASCII character is known to display as single width, we can
avoid not only the Unicode data lookup in `disp_str` but also the one
hidden in `str_width` for them.

* Speed up cursor movements in long pyrepl commands

When the current pyrepl command buffer contains many lines, scrolling up
becomes slow. We have optimizations in place to reuse lines above the
cursor position from one refresh to the next, but don't currently try to
reuse lines below the cursor position in the same way, so we wind up
with quadratic behavior where all lines of the buffer below the cursor
are recomputed each time the cursor moves up another line.

Optimize this by only computing one screen's worth of lines beyond the
cursor position. Any lines beyond that can't possibly be shown by the
console, and bounding this makes scrolling up have linear time
complexity instead.

---------

Signed-off-by: Matt Wozniski <mwozniski@bloomberg.net>
Co-authored-by: Pablo Galindo <pablogsal@gmail.com>

gh-120346: Respect PYTHON_BASIC_REPL when running in interactive inspect mode (#120349)

gh-119180: PEP 649 compiler changes (#119361)

gh-120080: Mark test_round_with_none_arg_direct_call as cpython_only (#120328)

gh-120291: Fix a bashism in python-config.sh.in (#120292)

gh-120291: Fix bashisms in python-config.sh.in

Replace the use of bash-specific `[[ ... ]]` with POSIX-compliant
`[ ... ]` to make the `python-config` shell script work with non-bash
shells again.  While at it, use `local` in a safer way, since it is
not in POSIX either (though universally supported).

Fixes #120291

gh-120298: Fix use-after-free in `list_richcompare_impl` (#120303)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-65454: avoid triggering call to a PropertyMock in NonCallableMock.__setattr__ (#120019)

gh-119600: mock: do not access attributes of original when new_callable is set (#119601)

In order to patch flask.g e.g. as in #84982, that
proxies getattr must not be invoked. For that,
mock must not try to read from the original
object. In some cases that is unavoidable, e.g.
when doing autospec. However, patch("flask.g",
new_callable=MagicMock) should be entirely safe.

Fix the CODEOWNERS for _interpretersmodule.c (gh-120288)

gh-120057: Add os.environ.refresh() method (#120059)

gh-119786: copy compiler doc from devguide to InternalDocs and convert to markdown (#120134)

* gh-119876: move compiler doc from devguide to InternalDocs

Copy of https://github.com/python/devguide/commit/78fc0d7aa9fd0d6733d10c23b178b2a0e2799afc

Co-Authored-By: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-Authored-By: Adam Turner <9087854+aa-turner@users.noreply.github.com>
Co-Authored-By: Brett Cannon <brett@python.org>
Co-Authored-By: Carol Willing <carolcode@willingconsulting.com>
Co-Authored-By: Daniel Porteous <danielporteous1@gmail.com>
Co-Authored-By: Dennis Sweeney <36520290+sweeneyde@users.noreply.github.com>
Co-Authored-By: Éric Araujo <merwok@netwok.org>
Co-Authored-By: Erlend Egeberg Aasland <erlend.aasland@innova.no>
Co-Authored-By: Ezio Melotti <ezio.melotti@gmail.com>
Co-Authored-By: Georg Brandl <georg@python.org>
Co-Authored-By: Guido van Rossum <guido@python.org>
Co-Authored-By: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-Authored-By: Irit Katriel <1055913+iritkatriel@users.noreply.github.com>
Co-Authored-By: Jeff Allen <ja.py@farowl.co.uk>
Co-Authored-By: Jim Fasarakis-Hilliard <d.f.hilliard@gmail.com>
Co-Authored-By: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
Co-Authored-By: Lincoln <71312724+Lincoln-developer@users.noreply.github.com>
Co-Authored-By: Mariatta <Mariatta@users.noreply.github.com>
Co-Authored-By: Muhammad Mahad <mahadpy@gmail.com>
Co-Authored-By: Ned Deily <nad@acm.org>
Co-Authored-By: Pablo Galindo Salgado <Pablogsal@gmail.com>
Co-Authored-By: Serhiy Storchaka <storchaka@gmail.com>
Co-Authored-By: Stéphane Wirtel <stephane@wirtel.be>
Co-Authored-By: Suriyaa ✌️️ <isc.suriyaa@gmail.com>
Co-Authored-By: Zachary Ware <zachary.ware@gmail.com>
Co-Authored-By: psyker156 <242220+psyker156@users.noreply.github.com>
Co-Authored-By: slateny <46876382+slateny@users.noreply.github.com>
Co-Authored-By: svelankar <17737361+svelankar@users.noreply.github.com>
Co-Authored-By: zikcheng <surfingbyte@gmail.com>
* convert to markdown

* add to index

* update more of the out of date stuff

---------

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Brett Cannon <brett@python.org>
Co-authored-by: Carol Willing <carolcode@willingconsulting.com>
Co-authored-by: Daniel Porteous <danielporteous1@gmail.com>
Co-authored-by: Dennis Sweeney <36520290+sweeneyde@users.noreply.github.com>
Co-authored-by: Éric Araujo <merwok@netwok.org>
Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
Co-authored-by: Georg Brandl <georg@python.org>
Co-authored-by: Guido van Rossum <guido@python.org>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Jeff Allen <ja.py@farowl.co.uk>
Co-authored-by: Jim Fasarakis-Hilliard <d.f.hilliard@gmail.com>
Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
Co-authored-by: Lincoln <71312724+Lincoln-developer@users.noreply.github.com>
Co-authored-by: Mariatta <Mariatta@users.noreply.github.com>
Co-authored-by: Muhammad Mahad <mahadpy@gmail.com>
Co-authored-by: Ned Deily <nad@acm.org>
Co-authored-by: Pablo Galindo Salgado <Pablogsal@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Stéphane Wirtel <stephane@wirtel.be>
Co-authored-by: Suriyaa ✌️️ <isc.suriyaa@gmail.com>
Co-authored-by: Zachary Ware <zachary.ware@gmail.com>
Co-authored-by: psyker156 <242220+psyker156@users.noreply.github.com>
Co-authored-by: slateny <46876382+slateny@users.noreply.github.com>
Co-authored-by: svelankar <17737361+svelankar@users.noreply.github.com>
Co-authored-by: zikcheng <surfingbyte@gmail.com>

gh-115801: Only allow sequence of strings as input for difflib.unified_diff (GH-118333)

gh-120155: Fix Coverity issue in zoneinfo load_data() (#120232)

Declare the 'rv' varaible at the top of the load_data() function to
make sure that it's initialized before the first 'goto error' which
uses 'rv' (return rv).

Fix the Coverity issue:

Error: UNINIT (CWE-457):
Python-3.12.2/Modules/_zoneinfo.c:1233:5: skipped_decl: Jumping over declaration of ""rv"".
Python-3.12.2/Modules/_zoneinfo.c:1284:5: uninit_use: Using uninitialized value ""rv"".
  1282|       }
  1283|
  1284|->     return rv;
  1285|   }
  1286|

bpo-24766: doc= argument to subclasses of property not handled correctly (GH-2487)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-120296: Fix format string of fcntl.ioctl() audit (#120301)

gh-119666: fix multiple class-scope comprehensions referencing __class__ (#120295)