gh-143309: fix UAF in `os.execve` when the environment is concurrently mutated (#143314)

gh-143308: fix UAF when PickleBuffer is concurrently mutated in a callback (#143312)

Co-authored-by: Aaron Wieczorek <woz@Aarons-MacBook-Pro.local>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-142927: Clarify pstats file output in docs and CLI (#143388)

When running the `profiling.sampling` module in pstats mode, the output
can be emitted in two different ways: text to stdout or a binary file
when the `--output` argument is set.

The current documentation and help text is confusing as it does not
distinguish between these two output formats so it may be surprising to
the user to get different formats depending whether `--output` is set or not.

gh-141504: Factor out tracing and optimization heuristics into a single object (gh-143381)

gh-143001: Add @cpython_only to test_threading.ThreadTests.test_PyThreadState_SetAsyncExc (gh-143002)

gh-138122: Skip threads on EPERM in blocking mode profiler (GH-143368)

When using blocking mode in the remote debugging profiler, ptrace calls
to seize threads can fail with EPERM if the thread has exited between
listing and attaching, is in a special kernel state, or is already being
traced. Previously this raised a RuntimeError that was caught by the
Python sampling loop,and retried indefinitely since EPERM is
a persistent condition that will not resolve on its own.

Treat EPERM the same as ESRCH by returning 1 (skip this thread) instead
of -1 (fatal error). This allows profiling to continue with the threads
that can be traced rather than entering an endless retry loop printing
the same error message repeatedly.

gh-136924: Suspend REPL colorizing when in a REPL interactive command (GH-136926)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

Fix dunder name typo in compiler code comment (#143374)

gh-140648: Make asyncio REPL respect the `-I` flag (isolated mode) (#143045)

gh-142615: disallow multiple initializations of `asyncio.Task` and `asyncio.Future` (#142616)

gh-143361: Pass PY_VECTORCALL_ARGUMENTS_OFFSET in _Py_CallBuiltinClass_StackRefSteal (GH-143367)

Co-authored-by: Aaron Wieczorek <woz@Aarons-MacBook-Pro.local>

gh-76187: Document the `c` typecode for `multiprocessing.Array`. (#132504)

* Document the `c` typecode for `multiprocessing.Array`.

* Add quotes

* Mention that 'w' is not supported

gh-134584: JIT: Remove redundant refcount from STORE_FAST (GH-143336)

no-issue: Fix optimizer_generator.py to print abstract_uop_name properly (gh-143366)

gh-138897: Use `_pyrepl.pager` for `_sitebuiltins._Printer` (GH-138898)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-139262: Prevent swallowing REPL input on Windows (GH-139263)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-143148: Replace pre-commit with prek in CI (#143149)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-128067: In test_pyrepl, discover escape sequences from terminfo instead of using hard-coded values (#143356)

gh-139757: Fix unintended bytecode specialization for non-ascii string (gh-143352)

gh-128067: Fix pyrepl overriding printed output without newlines (#138732)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

gh-142927: Hide _sync_coordinator frames from profiler output (#143337)

gh-139757: Add _GUARD_NOS_COMPACT_ASCII for compact ascii optimization (gh-143332)

Update docstrings of `typing.Hashable`, `typing.List`, etc., to reflect their deprecation (#143295)

gh-143310: fix crash in Tcl object conversion with concurrent mutations (#143321)

gh-124951: Optimize base64 encode & decode for an easy 2-3x speedup [no SIMD] (GH-143262)

Optimize base64 encoding/decoding by eliminating loop-carried dependencies. Key changes:
- Add `base64_encode_trio()` and `base64_decode_quad()` helper functions that process complete groups independently
- Add `base64_encode_fast()` and `base64_decode_fast()` wrappers
- Update `b2a_base64` and `a2b_base64` to use fast path for complete groups

Performance gains (encode/decode speedup vs main, PGO builds):
```
             64 bytes    64K        1M
  Zen2:      1.2x/1.8x   1.7x/2.8x  1.5x/2.8x
  Zen4:      1.2x/1.7x   1.6x/3.0x  1.5x/3.0x  [old data, likely faster]
  M4:        1.3x/1.9x   2.3x/2.8x  2.4x/2.9x  [old data, likely faster]
  RPi5-32:   1.2x/1.2x   2.4x/2.4x  2.0x/2.1x
```

Based on my exploratory work done in https://github.com/python/cpython/compare/main...gpshead:cpython:claude/vectorize-base64-c-S7Hku

See PR and issue for further thoughts on sometimes MUCH faster SIMD vectorized versions of this.

gh-138122: Move local imports to module level in sampling profiler (#143257)

gh-138122: Integrate live profiler TUI with _colorize theming system (#142360)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-142927: Fix heatmap caller navigation for interior lines (#143180)

gh-142927: Auto-open HTML output in browser after generation (#143178)

gh-134584: Fix _CALL_BUILTIN_O  test to reflect real-world usage (GH-143333)

Fix test to reflect real-world usage

gh-134584: Eliminate redundant refcounting from `_LOAD_ATTR_SLOT` (GH-143320)

Signed-off-by: Manjusaka <me@manjusaka.me>
Co-authored-by: Ken Jin <kenjin4096@gmail.com>

gh-134584: Eliminate redundant refcounting from _CALL{_BUILTIN_O, _METHOD_DESCRIPTOR_O} (GH-143330)

Co-authored-by: Ken Jin <kenjin4096@gmail.com>

Amend NEWS entries for PRs GH-139553 and GH-142790 (#143329)

gh-143048: Remove outdated mention to `curses` in the "Interactive Mode" docs (#143049)

gh-142830: prevent some crashes when mutating `sqlite3` callbacks (#143245)

gh-140920: remove incorrect mentions to `concurrent.futures.interpreter.ExecutionFailed` (#141723)

Remove documentation for inexistant `concurrent.futures.interpreter.ExecutionFailed`
and replace its occurrences by `concurrent.interpreters.ExecutionFailed` since this
is the documented exception.

gh-135852: Remove out of tree pywin32 dependency for NTEventLogHandler (GH-137860)

Add RegisterEventSource(), DeregisterEventSource(), ReportEvent()
and a number of EVENTLOG_* constants to _winapi.

gh-140795: Keep 'err' in local variable in _ssl.c (gh-143275)

The error return code doesn't need to be mutable state on the SSLSocket.
This simplifes thread-safety and avoids potential reentrancy issues.

gh-143121: Avoid thread leak in configure (gh-143122)

If you are building with `--with-thread-sanitizer` and don't use the
suppression file, then running configure will report a thread leak.

Call `pthread_join()` to avoid the thread leak.

gh-115634: document ProcessPoolExecutor max_tasks_per_child bug (GH-140897)

gh-143237: Fix support of named pipes in the rotating logging handlers (GH-143259)

This fixes regression introduced in GH-105887.

gh-130167: Add a What's New entry for changes to ``textwrap.{de,in}dent`` (#131924)

Co-authored-by: Stan Ulbrych <89152624+StanFromIreland@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-143284: Temporarily install Sphinx<9 to fix Chinese search (#143286)

gh-142939: difflib.get_close_matches performance (#142940)

gh-128546: Document that getaddrinfo() can return raw data (#128547)

Document that getaddrinfo() can return raw data

This is the case for IPv6 addresses if Python was compiled with
--disable-ipv6.

gh-69686: Remove untrue part of `__import__` replacement docs (#143261)

Remove untrue part of `__import__` replacement docs

The original statement effectively says that replacing `__import__` at global scope affects import statements, and not only that, but only import statements within the rest of the executing module. None of that has been true since at least Python 2.7, I think.

This was likely missed in python/cpython#69686.

gh-143200: fix UAFs in `Element.__{set,get}item__` when the element is concurrently mutated (#143226)

gh-143183: Link trace to side exits, rather than stop (GH-143268)

gh-131421: Fix ASDL kw_defaults being `expr*` instead of `expr?*` (GH-133773)

Also fix docs ASDL highlighting.

gh-143183: Rewind stop tracing to previous target (GH-143187)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-131798: Remove bounds check when indexing into tuples with a constant index (#137607)

* Remove bounds check when indexing into tuples with a constant index

* Add news entry

* fixup after rebase

gh-140870: Full coverage for _pyrepl._module_completer (#143244)

Full coverage for _pyrepl._module_completer

Co-authored-by: Tomas R. <tomas.roun8@gmail.com>

gh-142994, gh-142996: document missing async generator and coroutine field entries in `inspect` (#142997)

gh-142195: Fixed Popen.communicate indefinite loops (GH-143203)

Changed condition to evaluate if timeout is less than or equals to 0. This is needed for simulated time environments such as Shadow where the time will match exactly on the boundary.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-63016: fix failing `mmap.flush` tests on FreeBSD (#143230)

Fix `mmap.flush` tests introduced in 1af21ea32043ad5bd4eaacd48a1718d4e0bef945
where some flag combinations are not supported on FreeBSD.

gh-143241: Fix infinite loop in `zoneinfo._common.load_data` (#143243)

Correctly reject truncated TZif files in `ZoneInfo.from_file`.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-143228: Fix UAF in perf trampoline during finalization (#143233)

gh-136186: Fix more flaky tests in test_external_inspection (#143235)

gh-143003: Fix possible shared buffer overflow in bytearray.extend() (GH-143086)

When __length_hint__() returns 0 for non-empty iterator, the data can be
written past the shared 0-terminated buffer, corrupting it.

gh-139922: Link to results in MSVC tail calling in What's New 3.15 (GH-143242)

Link to results in MSVC tail calling for whats new in 3.15

gh-142557: fix UAF in `bytearray.__mod__` when object is mutated while formatting `%`-style arguments (#143213)

gh-142664: fix `PyObject_Hash` invokation post GH-143217 (#143223)

gh-131591: Do not free page caches that weren't allocated (#143205)

gh-142664: fix UAF in `memoryview.__hash__` via re-entrant data's `__hash__` (#143217)

gh-138122: fix AC warnings in `Modules/_remote_debugging/module.c` (#143218)

gh-143195: fix UAF in `{bytearray,memoryview}.hex(sep)` via re-entrant `sep.__len__` (#143209)

no-issue: Fix override value in os.rst (gh-123522)

gh-63016: Add flags parameter on mmap.flush (#139553)

Co-authored-by: Victor Stinner <vstinner@python.org>

Fix typos in docs (#143193)

gh-143181: Fix 'overriden' -> 'overridden' in c-api/module.rst (#143182)

* Doc: Fix typo 'overriden' -> 'overridden' in c-api/module.rst

* Fix 'overriden' -> 'overridden' in tests

gh-140739: Fix missing exception on allocation failure in BinaryWriter (#143204)

gh-143040: Exit taychon live mode gracefully and display profiled script errors (#143101)

gh-134584: Eliminate redundant refcounting from `IS_OP` (GH-143171)

Eliminate redundant refcounting from IS_OP

gh-134584: Eliminate redundant refcounting from `_COMPARE_OP_X` (GH-143186)

gh-140739: Fix crashes from corrupted remote memory (#143190)

Remove redundant pycore_optimizer.h includes (#143184)

`pycore_optimizer.h` was included redundantly in
Objects/frameobject.c and Python/instrumentation.c.
Both includes are unnecessary and can be safely removed.
No functional change.

Signed-off-by: Yongtao Huang <yongtaoh2022@gmail.com>

gh-138122: Remove default duration for statistical profiling (#143174)

Co-authored-by: Pablo Galindo Salgado <pablogsal@gmail.com>

gh-142927: Tachyon: Fix contrast ratio in top panel (#142936)

gh-138122: Convert GIL/GC/exception stats from tiles to progress bars (#143177)

gh-143164: Fix incorrect error message for ctypes bitfield overflow (GH-143165)

Signed-off-by: Yongtao Huang <yongtaoh2022@gmail.com>

gh-142975: During GC, mark frozen objects with a merged zero refcount for destruction (GH-143156)

gh-143145: Fix possible reference leak in ctypes _build_result() (GH-143131)

The result tuple was leaked if __ctypes_from_outparam__() failed for any item.

Signed-off-by: Yongtao Huang <yongtaoh2022@gmail.com>

gh-143103: Added pad parameter to base64.z85encode() (GH-143106)

This makes it analogous to a85encode() and b85encode() and allows the
user to more easily meet the Z85 specification, which requires input
lengths to be a multiple of 4.

gh-143004: Fix possible use-after-free in collections.Counter.update() (GH-143044)

This happened when the Counter was mutated when incrementing
the value for an existing key.

gh-143092: Make CALL_LIST_APPEND and BINARY_OP_INPLACE_ADD_UNICODE normal instructions (GH-143124)

These super instructions need many special cases in the interpreter, specializer, and JIT. It's best we convert them to normal instructions.

gh-120321: Fix TSan reported races on gi_frame_state (gh-143128)

Move News for gh-142560 to Core and Builtins (GH-143154)

gh-142517: Fix typo in news item. (#143150)

gh-143135: Fix sys.flags.inspect when PYTHONINSPECT=0 (GH-143136)

gh-140717: Add `exc_text` to LogRecord attributes table (GH-140718)

gh-138122: Extend binary profiling format with full source location and opcode (#143088)

Co-authored-by: Stan Ulbrych <stan@ulbrych.org>

Correctly fold unknown-8bit originating from encoded words. (#142517)

The unknown-8bit trick was designed to deal with unknown bytes in an
ASCII message, and it works fine for that.  However, I also tried to
extend it to handle bytes that can't be decoded using the charset
specified in an encoded word, and there it fails because there can be
other non-ASCII characters that were *successfully* decoded.  The fix is
simple: do the unknown-8bit encoding using the utf-8 codec.  This is
especially appropriate since anyone trying to do recovery on an unknown
byte string will probably attempt utf-8 first.

gh-138122: Replace --interval with --sampling-rate (#143085)

gh-143100: Fix memcpy data race in setobject.c (gh-143127)

gh-143121: Skip test that leak threads under TSan (gh-143125)

gh-142145: Avoid timing measurements in quadratic behavior test (gh-143105)

Count the number of Element attribute accesses as a proxy for work done.
With double the amount of work, a ratio of 2.0 indicates linear scaling
and 4.0 quadratic scaling. Use 3.2 as an intermediate threshold.

gh-136186: Fix flaky tests in test_external_inspection (#143110)

JIT: Move executor to a register (#143072)

gh-143108: Don't instrument faulthandler.c for TSan (#143109)

The dumping of tracebacks has data races and that's okay (it's best
effort).

gh-134584: Eliminate redundant refcounting from `_BINARY_OP_SUBSCR_TUPLE_INT` (GH-143094)