gh-143923: Reject control characters in POP3 commands

gh-143925: Reject control characters in data: URL mediatypes

gh-143921: Reject control characters in IMAP commands

gh-141504: Move PYTHON_UOPS_OPTIMIZE to policy object (GH-144082)

gh-144054: no deferred refcount for untracked (gh-144081)

This reverts gh-144055 and fixes the bug in a different way.  Deferred
reference counting relies on the object being tracked by the GC,
otherwise the object will live until interpreter shutdown.  So, take
care that we do not enable deferred reference counting for objects that
are untracked.  Also, if a tuple has deferred reference counting
enabled, don't untrack it.

gh-143939: Fix assignment to `_PyThreadStateImpl.generator_return_kind` (gh-143951)

The assignment to generator_return_kind has to be after any potentially
escaping calls to ensure that it's not overwritten.

gh-143960: Add support for OpenSSL 3.6, drop EOL 3.2 (#143961)

Co-authored-by: Gregory P. Smith <68491+gpshead@users.noreply.github.com>

gh-144054: shutdown fix for deferred ref counting (GH-144055)

When shutting down, disable deferred refcounting for all GC objects. It
is important to do this also for untracked objects, which before this
change were getting missed.

Small code cleanup:
We can remove the shutdown case disable_deferred_refcounting() call
inside scan_heap_visitor() if we are careful about it.  The key is
that frame_disable_deferred_refcounting() might fail if the object
is untracked.

Update struct.__doc__: _Bool available unconditionally (#143716)

This amends commit a9296e7f3be4d6c22271b25c86467ff867c63bbb.

gh-144050: Fix stat.filemode pure Python file type detection (GH-144059)

gh-143999: Fix: handle suspended state on types.coroutine wrappers (GH-144000)

gh-144023: Prevent follow_symlinks from being allowed with an fd of 0 (GH-144022)

The check was (fd > 0), should be (fd >= 0).

gh-143774 - Improve IDLE Format Paragraph doc (#143775)

Add a reminder to not rewrap code line to the Menu => Format => Reformat Paragraph entry.
In Editing and Nagivagion, add a new 'Format block' subsection that defines 'paragraph'
to better match what is dependably handled as more or less expected.
In particular, specify equal indents and that the resulting indent equals original indent.
Also mention that selections are expanded to complete lines and how to modify max length.

(Also fix a couple case errors in cross references.)

gh-143754: Add Tkinter methods pack_content(), place_content() and grid_content() (GH-143845)

They use Tk commands with new name like "pack content instead of old
"pack slaves".

Fix typo: 'exept' -> 'except' in Lib/dbm/dumb.py (GH-144060)

gh-143874: Use self.message instead of raw print in `_exec_in_closure()`  (#143875)

gh-102809: No longer mention `Misc/gdbinit` in the code (#143980)

Fix misleading comment on `PyObject_Dump`.

gh-106318: Add examples for str.rpartition() method (#143891)

gh-143689: Fix BufferedReader.read1 leaving object in reentrant state on error (#143690)

BufferedReader.read1() could leave the buffered object in a
reentrant (locked) state when an exception was raised while
allocating the output buffer.

This change ensures the internal buffered lock is always released
on error, keeping the object in a consistent state after failures.

Signed-off-by: Yongtao Huang <yongtaoh2022@gmail.com>
Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Cody Maloney <cmaloney@users.noreply.github.com>
Co-authored-by: sobolevn <mail@sobolevn.me>

gh-142461: Move misplaced NEWS entries to an appropriate section (GH-143392)

gh-143935: Email preserve parens when folding comments (#143936)

Fix a bug in the folding of comments when flattening an email message
using a modern email policy. Comments consisting of a very long sequence of
non-foldable characters could trigger a forced line wrap that omitted the
required leading space on the continuation line, causing the remainder of
the comment to be interpreted as a new header field. This enabled header
injection with carefully crafted inputs.

Co-authored-by: Denis Ledoux <dle@odoo.com>

gh-143897: Remove the isxidstart() and isxidcontinue() methods of unicodedata.ucd_3_2_0 (GH-143898)

They are now only exposed as the unicodedata function.

gh-142440: Fix _decimal builds configured with EXTRA_FUNCTIONALITY (GH-142441)

There was a typo in _decimal.Context.apply().

gh-143754: Modernize Tkinter docs (GH-143841)

Use more relevant terminology instead of "master"/"slave" widgets where possible.

gh-143866: Verify return value of `pathlib.write_{bytes,text}` methods in tests (#143870)

Co-authored-by: sobolevn <mail@sobolevn.me>

gh-75459: versionadded for PyObject_CallFinalizer*() API (GH-143982)

gh-143831: Compare cells by identity in forward references (#143848)

Notify Sviat of GHA changes through codeowners (#143945)

Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-141860: Add on_error= keyword arg to `multiprocessing.set_forkserver_preload` (GH-141859)

Add a keyword-only `on_error` parameter to `multiprocessing.set_forkserver_preload()`. This allows the user to have exceptions during optional `forkserver` start method module preloading cause the forkserver subprocess to warn (generally to stderr) or exit with an error (preventing use of the forkserver) instead of being silently ignored.

This _also_ fixes an oversight, errors when preloading a `__main__` module are now treated the similarly. Those would always raise unlike other modules in preload, but that had gone unnoticed as up until bug fix PR GH-135295 in 3.14.1 and 3.13.8, the `__main__` module was never actually preloaded.

Based on original work by Nick Neumann @aggieNick02 in GH-99515.

gh-144012: Check null binary op extend (#144014)

gh-143952: Fix asyncio tools to work with the new remote debugging API (#143954)

Fix UBSan error in _testcapi: correct create_attr_from_spec signature (#143097)

Co-authored-by: sobolevn <mail@sobolevn.me>

 gh-143916: Reject control characters in wsgiref.headers.Headers  (GH-143917)

* Add 'test.support' fixture for C0 control characters
* gh-143916: Reject control characters in wsgiref.headers.Headers

gh-143421: Use new buffer to save  optimized uops (GH-143682)

gh-141004: Document `PyException_HEAD` and `PyDescr_COMMON` (GH-143896)

gh-143946: Show `JitOptSymbol` on abstract stack when set PYTHON_OPT_DEBUG > 4 (GH-143957)

gh-142913: Export JIT functions for _testinternalcapi (#143958)

* Export JIT functions for _testinternalcapi

* Add testinternalcapi to paths to run JIT CI on

gh-143943: add missing header file for `pycore_optimizer_types.h` (GH-143947)

gh-132657: Add maybe_enable_deferred_ref_count() (gh-142843)

If we are specializing to `LOAD_GLOBAL_MODULE` or `LOAD_ATTR_MODULE`, try
to enable deferred reference counting for the value, if the object is owned by
a different thread.  This applies to the free-threaded build only and should
improve scaling of multi-threaded programs.

gh-142913: Remove JIT interpreter for interpreter generator tests (GH-143944)

gh-138122: Default highlight to sh (#143782)

 gh-142913: Update generated code that conflicted with other landed change (#143932)

Update test cases

gh-142913: Add test case for interpreter generator w/ overridden opcodes (#142911)

Add test case for interpreter generator w/ overridden opcodes

gh-143674: Document F/D complex format characters in struct module (#143675)

Add documentation for the F (complex from two floats) and D (complex
from two doubles) format characters in the struct module docstring.
These format characters were implemented but not documented.

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>

gh-65784: Add support for parametrized resource wantobjects in regrtests (GH-143570)

This allows to run Tkinter tests with the specified value of
tkinter.wantobjects, for example "-u wantobjects=0".

gh-143572: Run 'python3-libraries' fuzzer in CI using CIFuzz (#143749)

Co-authored-by: 🇺🇦 Sviatoslav Sydorenko (Святослав Сидоренко) <578543+webknjaz@users.noreply.github.com>
Co-authored-by: 🇺🇦 Sviatoslav Sydorenko (Святослав Сидоренко) <wk.cvs.github@sydorenko.org.ua>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>

gh-141070: Rename `PyUnstable_Object_Dump` to `PyObject_Dump` (GH-142848)

gh-143672: Finish conversion of the struct module to Argument Clinic (GH-143857)

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>

gh-143672: Add more tests for struct.pack_into() (GH-143901)

Add tests for negative offset, out of bound offset, invalid type of offset,
non-writeable buffer, non-continuous buffer, invalid type of buffer.

Repeat all tests for struct.Struct.pack_into().

GH-143493: Conform to spec for generator expressions while supporting virtual iterators (GH-143569)

* Moves the `GET_ITER` instruction into the generator function preamble.
  This means the the iterable is converted into an iterator during generator
  creation, as documented, but keeps it in the same code object allowing
  optimization.

gh-143602: Fix duplicate buffer exports in io.BytesIO.write (#143629)

Fix an inconsistency issue in io.BytesIO.write() where the buffer was exported
twice, which could lead to unexpected data overwrites and position drift when
the buffer changes between exports.

gh-142434: Use ppoll() if available in select.poll (#143529)

gh-141004: Mark up docs of old PyMem macros (GH-143783)

These had a docs-only deprecation notice since the first version of the docs in this repo. Nowadays we call things “soft deprecated” if there's just a note in the docs.

The deprecated directive needs a version, I went with the first one that had the notice (2.0; it's not in 1.6):
- https://docs.python.org/release/2.0/api/memoryInterface.html
- https://docs.python.org/release/1.6/api/memoryInterface.html

Since PEP 445, they are now direct aliases; there are no (additional) binary compatibility concerns over the preferred names.

gh-80620: Fix test_time.test_gmtime() for 32-bit time_t (#143861)

gh-80620: Support negative timestamps on windows in `time.gmtime`, `time.localtime`, and `datetime` module (#143463)

Previously, negative timestamps (representing dates before 1970-01-01) were
not supported on Windows due to platform limitations. The changes introduce a
fallback implementation using the Windows FILETIME API, allowing negative
timestamps to be correctly handled in both UTC and local time conversions.
Additionally, related test code is updated to remove Windows-specific skips
and error handling, ensuring consistent behavior across platforms.

Co-authored-by: Victor Stinner <vstinner@python.org>

Add regression test for add() after remove() with hash collision in set (GH-143781)

gh-143834: Fix PyLong_AsNativeBytes docs for negative number padding  (GH-143840)

gh-143635: Fix crash in `ga_repr_items_list` (#143670)

gh-141504: Refactor policy object into a single opt_config (gh-143644)

gh-143632: Skip unittest for mmap.set_name at musl environment (gh-143839)

gh-141805: Fix crash after concurrent addition objects with the same hash to set (GH-143815)

This happens when the set contained several elements with the same hash,
and then some of them were removed.

gh-143825: Micro-optimizations to _make_key. (gh-143844)

GH-143842: Make optimizer color table static (GH-143846)

Add Savannah to CODEOWNERS for WASI (#143847)

Fix refleaks in new unicodedata classes added in gh-74902 (GH-143843)

gh-143632: Disable PR_SET_VMA_ANON_NAME on musl libc (gh-143730)

Post 3.15.0a5

Python 3.15.0a5

gh-74902: Add Unicode Grapheme Cluster Break algorithm (GH-143076)

Add the unicodedata.iter_graphemes() function to iterate over grapheme
clusters according to rules defined in Unicode Standard Annex #29.

Add unicodedata.grapheme_cluster_break(), unicodedata.indic_conjunct_break()
and unicodedata.extended_pictographic() functions to get the properties
of the character which are related to the above algorithm.

Co-authored-by: Guillaume "Vermeille" Sanchez <guillaume.v.sanchez@gmail.com>

gh-141004: Document several soft-deprecated C APIs (GH-141634)

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-143214: Add the wrapcol parameter in binascii.b2a_base64() and base64.b64encode() (GH-143216)

gh-143123: Protect against recursive tracer calls/finalization (GH-143126)

* Stronger check for recursive traces

* Add a stop_tracing field

* Stop early when tracing exceptions

GH-143613: Add colours and some more edges to executor visualization graph (GH-143809)

gh-106287: Do not write objects after an unmarshalling error (GH-132715)

Writing out an object may involve a slot lookup, which is not safe to do with
an exception raised. In debug mode an assertion failure will occur if this
happens.

gh-138050: Use cold flag instead of warm flag in `MAKE_WARM` (GH-143827)

gh-141004: Document old provisional names for vectorcall/code API (GH-143568)

gh-141004: Document old provisional names for vectorcall & code API

For vectorcall API, the underscore-prefixed provisional names
continue to be available per PEP 590:
https://peps.python.org/pep-0590/#finalizing-the-api
Use `versionadded`, `versionchanged`, and `:no-typesetting:`
to mark this up.

For PyCode API, use `:no-typesetting:` rather than `index::` so that
these are semantically documented as C functions.

gh-143460: Correct unlimited stack size skip for Emscripten (#143765)

Modifies the test skip for unlimited stack size to add Emscripten to the
exclusion list.

gh-131798: JIT optimizer: Support custom binary op and property frames (GH-143735)

Merge branch 'main' of https://github.com/python/cpython

Post 3.15.0a4

gh-116738: Make `lzma` module thread-safe (#142947)

gh-143728: Keep `TypedDict` and `NamedTuple` in `class` role in docs (#143702)

Bump GitHub Actions (#143757)

remove duplicate error constants in `_winapi` (#143684)

gh-141045: Document that shutil.Error is a subclass of OSError (#141152)

gh-143249: Fix buffer leak when overlapped operation fails to start on windows (#143250)

gh-141004: Don't trigger `run-tests` when `Tools/check-c-api-docs/ignored_c_api.txt` is changed (GH-143583)

gh-143054: Disallow non-top-level Cut for now (GH-143622)

The behaviour of Cut in nested parentheses, Repeat, Opt, and similar
is somewhat chaotic. Apparently even the academic papers on PEG aren't
as clear as they could be.

And it doesn't really matter. Python only uses top-level cuts.
When that changes, we can clarify as much as necessary (and even
change the implementation to make sense for what we'll need).

Document that this is deliberately unspecified, and add a test to
make sure any decision is deliberate, tested and documented.

gh-141004: Document symbol visibility macros (PyAPI_DATA, Py_EXPORTED_SYMBOL, Py_LOCAL_SYMBOL,Py_IMPORTED_SYMBOL) (GH-143508)

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

Python 3.15.0a4

gh-132108: Add Buffer Protocol support to int.from_bytes to improve performance (#132109)

Speed up conversion from `bytes-like` objects like `bytearray` while
keeping conversion from `bytes` stable.

Co-authored-by: Sergey B Kirpichev <skirpichev@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

gh-141004: GHA: Run `check-c-api-docs` check on docs-only PRs (GH-143573)

Co-authored-by: 🇺🇦 Sviatoslav Sydorenko (Святослав Сидоренко) <wk.cvs.github@sydorenko.org.ua>

gh-143658: importlib.metadata: Use `str.translate` to improve performance of `importlib.metadata.Prepared.normalized` (#143660)

Co-authored-by: Henry Schreiner <henryschreineriii@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Bartosz Sławecki <bartosz@ilikepython.com>

Update random combinatoric recipes and add tests (gh-143762)

gh-143706: Fix sys.argv not set during multiprocessing forkserver `__main__` preload (#143717)

The forkserver was not passing sys.argv to its main() function, causing
sys.argv to be empty during `__main__` module import in child processes. This
fixes a non-obvious regression inadvertently introduced by the gh-126631 main
preloading fix.

Bump automatic certificate update on Windows during builds (GH-143741)

Without this, OpenSSL that we use to download external dependencies might use a stale certificate store and be unable to connect to servers. We need to use a Windows-specific HTTP client that uses CryptoAPI directly to trigger certificate updates.

We only do it on failure to avoid hitting servers twice. And we only do it once per each URL.

Add Savannah to optimizer CODEOWNERS (#143761)

gh-134584: Add more contributors for JIT refcounting work (GH-143760)

gh-134584: Eliminate redundant refcounting in TO_BOOL_INT, TO_BOOL_LIST (GH-143759)

Minor readability/usability improvement to the recipes section (gh-143753)