gh-119258: Eliminate Type Guards in Tier 2 Optimizer with Watcher (GH-119365)

Co-authored-by: parmeggiani <parmeggiani@spaziodati.eu>
Co-authored-by: dpdani <git@danieleparmeggiani.me>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Brandt Bucher <brandtbucher@microsoft.com>
Co-authored-by: Ken Jin <kenjin@python.org>

bpo-37755: Use configured output in pydoc instead of pager (GH-15105)

If the Helper() class was initialized with an output, the topics, keywords
and symbols help still use the pager instead of the output.
Change the behavior so  the output is used if available while keeping the
previous behavior if no output was configured.

gh-120242: Fix handling of `[setUp,tearDown]Class` in `test_datetime` (#120243)

gh-120225: fix crash in compiler on empty block at end of exception handler (#120235)

gh-119659: Get the datetime CAPI Tests Running Again (gh-120180)

The tests were accidentally disabled by 2da0dc0, which didn't handle classes correctly.

I considered updating no_rerun() to support classes, but the way test_datetime.py works would have made things fairly messy.  Plus, it looks like the refleaks we had encountered before have been resolved.

GH-116380: Move pathlib-specific code from `glob` to `pathlib._abc`. (#120011)

In `glob._Globber`, move pathlib-specific methods to `pathlib._abc.PathGlobber` and replace them with abstract methods. Rename `glob._Globber` to `glob._GlobberBase`. As a result, the `glob` module is no longer befouled by code that can only ever apply to pathlib.

No change of behaviour.

gh-120155: Fix copy/paste error in HAVE_SUBOFFSETS_IN_LAST_DIM() (#120228)

Don't hardcode 'dest' in HAVE_SUBOFFSETS_IN_LAST_DIM() macro of
memoryobject.c, but use its 'view' parameter instead.

Fix the Coverity issue:

Error: COPY_PASTE_ERROR (CWE-398):
Python-3.12.2/Objects/memoryobject.c:273:14: original: ""dest->suboffsets + (dest->ndim - 1)"" looks like the original copy.
Python-3.12.2/Objects/memoryobject.c:274:14: copy_paste_error: ""dest"" in ""src->suboffsets + (dest->ndim - 1)"" looks like a copy-paste error.
Python-3.12.2/Objects/memoryobject.c:274:14: remediation: Should it say ""src"" instead?
#  272|       assert(dest->ndim > 0 && src->ndim > 0);
#  273|       return (!HAVE_SUBOFFSETS_IN_LAST_DIM(dest) &&
#  274|->             !HAVE_SUBOFFSETS_IN_LAST_DIM(src) &&
#  275|               dest->strides[dest->ndim-1] == dest->itemsize &&
#  276|               src->strides[src->ndim-1] == src->itemsize);

gh-120226: Fix test_sendfile_close_peer_in_the_middle_of_receiving on Linux >= 6.10 (#120227)

The worst case is that the kernel buffers 17 pages with a page size of 64k.

gh-120200: Fix `inspect.iscoroutinefunction(inspect) is True` corner case (#120214)

gh-114264: Optimize performance of copy.deepcopy by adding a fast path for atomic types (GH-114266)

gh-110383: Improve 'old string formatting' text in tutorial (#120219)

gh-93691: fix too broad source locations of with-statement instructions (#120125)

gh-120211: Fix tkinter.ttk with Tcl/Tk 9.0 (GH-120213)

* Use new methods for tracing Tcl variable.
* Fix Combobox.current() for empty combobox.

gh-110383: Clarify "non-integral" wording in pow() docs (#119688)

gh-120164: Fix test_os.test_win32_mkdir_700() (#120177)

Don't compare the path to avoid encoding issues.

Co-authored-by: Eryk Sun <eryksun@gmail.com>

gh-120154: Fix Emscripten/WASI pattern in case statement for LDSHARED (#120173)

Fix Emscripten/WASI pattern in case statement for LDSHARED

Fix typos in comments (#120188)

gh-120080: Accept ``None`` as a valid argument for direct call of the ``int.__round__`` (#120088)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

gh-120157: Remove unused code in concurrent.future (gh-120187)

Add Plausible for docs metrics (#119977)

Co-authored-by: Julien Palard <julien@palard.fr>

gh-119577: Adjust DeprecationWarning when testing element truth values in ElementTree (GH-119762)

Adjust DeprecationWarning when testing element truth values in ElementTree, we're planning to go with the more natural True return rather than a disruptive harder to code around exception raise, and are deferring the behavior change for a few more releases.

GH-119054: Add "Reading directories" section to pathlib docs (#119956)

Add a dedicated subsection for `Path.iterdir()`-related methods,
specifically `iterdir()`, `glob()`, `rglob()` and `walk()`.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-120178: Documentation typo corrections (#120179)

gh-117657: Fix TSAN race involving import lock (#118523)

This adds a `_PyRecursiveMutex` type based on `PyMutex` and uses that
for the import lock. This fixes some data races in the free-threaded
build and generally simplifies the import lock code.

Add Tian Gao to CODEOWNERS and ACKS (GH-120166)

Restore decimal context after decimal doctests (GH-120149)

The modified context caused tests failures in several other tests.

CODEOWNERS: Add myself to symtable and AST (#120139)

Co-authored-by: Carl Meyer <carl@oddbird.net>

gh-120155: Initialize variables in _tkinter.c (#120156)

Initialize variables in _tkinter.c to make static analyzers happy.

gh-119679: Fix layout of PYD and DLL files on Windows when using PC/layout script (GH-120133)

gh-120111: Don't use cirrus M1 macOS runners on fork (#120116)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-119786: move adaptive interpreter doc from Python to InternalsDoc (#120137)

gh-120128: fix description of argument to ipaddress.collapse_addresses() (#120131)

The argument to collapse_addresses() is now described as an *iterable*
(rather than *iterator*).

pathlib ABCs: remove duplicate `realpath()` implementation. (#119178)

Add private `posixpath._realpath()` function, which is a generic version of `realpath()` that can be parameterised with string tokens (`sep`, `curdir`, `pardir`) and query functions (`getcwd`, `lstat`, `readlink`). Also add support for limiting the number of symlink traversals.

In the private `pathlib._abc.PathBase` class, call `posixpath._realpath()` and remove our re-implementation of the same algorithm.

No change to any public APIs, either in `posixpath` or `pathlib`.

Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>

gh-115225: Raise error on unsupported ISO 8601 time strings (#119339)

Some time strings that contain fractional hours or minutes are permitted
by ISO 8601, but such strings are very unlikely to be intentional. The
current parser does not parse such strings correctly or raise an error.
This change raises a ValueError when hours or minutes contain a decimal mark.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-119786: add links to code in exception handling doc (#120077)

gh-120065: Increase `collect_in_thread` period to 5 ms. (#120068)

This matches the default GIL switch interval. It greatly speeds up the
free-threaded build: previously, it spent nearly all its time in
`gc.collect()`.

gh-119287: clarify doc on BaseExceptionGroup.derive and link to it from contextlib.suppress (#119657)

gh-119819: Update logging configuration to support joinable multiproc… (GH-120090)

gh-119819: Update logging configuration to support joinable multiprocessing manager queues.

gh-120078: Fix struct_time attr typo tm_day -> tm_mday in Doc/library/time.rst (GH-120081)

gh-114616: Improve docs regarding changes to caches representation in dis (#120033)

gh-119553: Fix console when pressing Ctrl-C within a multiline block (#120075)

gh-119999: Fix potential race condition in `_Py_ExplicitMergeRefcount` (#120000)

We need to write to `ob_ref_local` and `ob_tid` before `ob_ref_shared`.
Once we mark `ob_ref_shared` as merged, some other thread may free the
object because the caller also passes in `-1` as `extra` to give up its
only reference.

gh-119819: Update test to skip if _multiprocessing is unavailable. (GH-120067)

gh-120048: Make `test_imaplib` faster (#120050)

The `test_imaplib` was taking 40+ minutes in the refleak build bots because
the tests waiting on a client `self._setup()` was creating a client that
prevented progress until its connection timed out, which scaled with the
global timeout.

We should set `connect=False` for the tests that don't want `_setup()` to
create a client.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-119842: Honor PyOS_InputHook in the new REPL (GH-119843)

Signed-off-by: Pablo Galindo <pablogsal@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Michael Droettboom <mdboom@gmail.com>

doc: Mention the missing reflected special methods for all binary operations (GH-119931)

gh-119553: Clear reader on Ctrl-C command (GH-119801)

gh-120039: Reduce expected timeout in test_siginterrupt_off (#120047)

The process is expected to time out. In the refleak builds,
`support.SHORT_TIMEOUT` is often five minutes and we run the tests six
times, so test_signal was taking >30 minutes.

gh-120041: Refactor check for visible completion menu in completing_reader (#120055)

gh-112672: Fix builtin Tkinter with Tcl 9.0 (GH-112681)

* Add declaration of Tcl_AppInit(), missing in Tcl 9.0.
* Use Tcl_Size instead of int where needed.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-89928: Fix integer conversion of device numbers (GH-31794)

Fix os.major(), os.minor() and os.makedev().
Support device numbers larger than 2**63-1.
Support non-existent device number (NODEV).

Fix incorrect pull GitHub link in What's New (#120045)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-120041: Do not use append_to_screen when completions are visible (GH-120042)

gh-119588: Update docs to reflect decision to include the change with Python 3.13 and not 3.12. (#120043)

gh-120029: export `DEF_TYPE_PARAM` compiler flag (#120028)

gh-117657: Fix race involving GC and heap initialization (#119923)

The `_PyThreadState_Bind()` function is called before the first
`PyEval_AcquireThread()` so it's not synchronized with the stop the
world GC. We had a race where `gc_visit_heaps()` might visit a thread's
heap while it's being initialized.

Use a simple atomic int to avoid visiting heaps for threads that are not
yet fully initialized (i.e., before `tstate_mimalloc_bind()` is called).

The race was reproducible by running:
`python Lib/test/test_importlib/partial/pool_in_threads.py`.

gh-94808: Reorganize _make_posargs and mark unused code (GH-119227)

* Reorganize four-way if-elsif-elsif-elsif as nested if-elses
* Mark unused branch in _make_posargs

`names_with_default` is never `NULL`, even if there are no names with
defaults.  In that case it points to a structure with `size` zero.

Rather than eliminating the branch, we leave it behind with an `assert(0)`
in case a future change to the grammar exercises the branch.

gh-119819: Fix regression to allow logging configuration with multipr… (GH-120030)

gh-118868: logging QueueHandler fix passing of kwargs (GH-118869)

Co-authored-by: Nice Zombies <nineteendo19d0@gmail.com>
Co-authored-by: Vinay Sajip <vinay_sajip@yahoo.co.uk>

Fix typos in documentation and comments (#119763)

gh-111499: Fix PYTHONMALLOCSTATS at Python exit (#120021)

Call _PyObject_DebugMallocStats() earlier in Py_FinalizeEx(), before
the interpreter is deleted.

gh-119613: Soft deprecate the Py_MEMCPY() macro (#120020)

Use directly memcpy() instead.

gh-119070: Update test_shebang_executable_extension to always use non-installed version (GH-119846)

gh-119879: str.find(): Utilize last character gap for two-way periodic needles (#119880)

gh-106531: Apply changes from importlib_resources 6.3.2 (#117054)

Apply changes from importlib_resources 6.3.2.

gh-119724: Revert "bpo-45759: Better error messages for non-matching 'elif'/'else' statements (#29513)" (#119974)

This reverts commit 1c8f912ebdfdb146cd7dd2d7a3a67d2c5045ddb0.

gh-117398: Use Per-Interpreter State for the _datetime Static Types (gh-119929)

We make use of the same mechanism that we use for the static builtin types.  This required a few tweaks.

The relevant code could use some cleanup but I opted to avoid the significant churn in this change.  I'll tackle that separately.

This change is the final piece needed to make _datetime support multiple interpreters.  I've updated the module slot accordingly.

gh-117142: Support Importing ctypes in Isolated Interpreters (gh-119991)

This makes the support official.

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

gh-117398: Add datetime Module State (gh-119810)

I was able to make use of the existing datetime_state struct, but there was one tricky thing I had to sort out.  We mostly aren't converting to heap types, so we can't use things like PyType_GetModuleByDef() to look up the module state.  The solution I came up with is somewhat novel, but I consider it straightforward.  Also, it shouldn't have much impact on performance.

In summary, this main changes here are:

* I've added some macros to help hide how various objects relate to module state
* as a solution to the module state lookup problem, I've stored the last loaded module on the current interpreter's internal dict (actually a weakref)
* if the static type method is used after the module has been deleted, it is reloaded
* to avoid extra work when loading the module, we directly copy the objects (new refs only) from the old module state into the new state if the old module hasn't been deleted yet
* during module init we set various objects on the static types' __dict__s; to simplify things, we only do that the first time; once those static types have a separate __dict__ per interpreter, we'll do it every time
* we now clear the module state when the module is destroyed (before, we were leaking everything in _datetime_global_state)

gh-117657: Fix race involving immortalizing objects (#119927)

The free-threaded build currently immortalizes objects that use deferred
reference counting (see gh-117783). This typically happens once the
first non-main thread is created, but the behavior can be suppressed for
tests, in subinterpreters, or during a compile() call.

This fixes a race condition involving the tracking of whether the
behavior is suppressed.

update CODEOWNERS (#120003)

gh-117657: Avoid `sem_clockwait` in TSAN (#119915)

The `sem_clockwait` function is not currently instrumented, which leads
to false positives.

gh-118835: pyrepl: Fix prompt length computation for custom prompts containing ANSI escape codes (#119942)

gh-119727: Add --single-process option to regrtest (#119728)

gh-119057: Use better error messages for zero division (#119066)

gh-119981: Use do while(0) in some symtable.c multi-line macros (#119982)

Use Cirrus M1 macOS runners for CI (GH-119979)

Co-authored-by: Ee Durbin <ee@python.org>

gh-119588: Implement zipfile.Path.is_symlink (zipp 3.19.0). (#119591)

gh-119679: Ensures correct import libraries are included in Windows install packages (GH-119790)

gh-102511: Amend 3.13.0b1.rst (GH-119895)

gh-116560: Add PyLong_GetSign() public function (#116561)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-119786: move exception handling doc to InternalDocs (#119815)

gh-119968: Improved monitoring c-api docs (#119969)

gh-119838: Treat Fraction as a real value in mixed arithmetic operations with complex (GH-119839)

gh-112026: Deprecate _PyDict_GetItemStringWithError() function (#119855)

gh-119856: Support exiting help() with just "exit" (#119858)

gh-116991: Improve `pygen --help` for `python` subparser (#116992)

gh-118827: Remove `Quoter` from `urllib.parse` (#118828)

Co-authored-by: Shantanu <12621235+hauntsaninja@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-119506: fix `_io.TextIOWrapper.write()` write during flush (#119507)

Co-authored-by: Inada Naoki <songofacandy@gmail.com>

gh-119396: Optimize unicode_decode_utf8_writer() (#119957)

Optimize unicode_decode_utf8_writer()

Take the ascii_decode() fast-path even if dest is not aligned on
size_t bytes.

gh-119961: Fix test workflow status badge in README (#119962)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

gh-117657: Fix data races report by TSAN unicode-hash (gh-119907)

gh-109975: What's New in Python 3.13: fix broken link for `telnetlib` alternative (#119958)

GH-119054: Add "Reading and writing files" section to pathlib docs (#119524)

Add a dedicated subsection for `open()`, `read_text()`, `read_bytes()`,
`write_text()` and `write_bytes()`.

Improve documentation for typing.get_type_hints (#119928)

- Explicit list of what it does that is different from
  "just return __annotations__"
- Remove reference to PEP 563; adding the future import doesn't
  do anything to type aliases, and in general it will never make
  get_type_hints() less likely to fail.
- Remove example, as the Annotated docs already have a similar
  example, and it's unbalanced to have one example about this
  one edge case but not about other behaviors of the function.

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-117657: Fix TSAN reported race in `_PyEval_IsGILEnabled`. (#119921)

The GIL may be disabled concurrently with this call so we need to use a
relaxed atomic load.

gh-119740: Remove deprecated trunc delegation (#119743)

Remove the delegation of `int` to the `__trunc__` special method: `int` will now only delegate to `__int__` and `__index__` (in that order). `__trunc__` continues to exist, but its sole purpose is to support `math.trunc`.

---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-119775: Remove ability to create immutable types with mutable bases (#119776)

gh-118934: Fix PyEval_GetLocals docs (PEP 667) (#119932)

PEP 667's description of the planned changes to PyEval_GetLocals
was internally inconsistent when accepted, so the docs added for
gh-74929 didn't match either the current behaviour or the intended
behaviour once gh-118934 is fixed.

This PR updates the documentation and 3.13 What's New to match the
intended behaviour (once gh-118934 is fixed).

It also tidies up lingering references to `f_locals` always being a
dictionary (this hasn't been true since at least when custom
namespace support for class statement execution was added)

Refactor (mostly rearrange) the statistics module (gh-119930)