gh-113246: Updated bundled pip to 23.3.2 (gh-113249)

Updated bundled pip to 23.3.2

gh-101100: Fix Sphinx warnings in library/tarfile.rst (#113237)

Fix Sphinx warnings in library/tarfile.rst

gh-113117: Support posix_spawn in subprocess.Popen with close_fds=True (#113118)

Add support for `os.POSIX_SPAWN_CLOSEFROM` and
`posix_spawn_file_actions_addclosefrom_np` and have the `subprocess` module use
them when available.  This means `posix_spawn` can now be used in the default
`close_fds=True` situation on many platforms.

Co-authored-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

Docs: Add label to grammar spec for linking from PEPs (#113235)

gh-113149: Improve error message when JSON has trailing comma (GH-113227)

gh-112890: `unittest` Test Discovery page updated "`unittest` dropped the namspace packages support" (GH-113195)

gh-113119 fix environment handling in subprocess.Popen when posix_spawn is used (#113120)

* Allow posix_spawn to inherit environment form parent environ variable.

With this change, posix_spawn call can behave similarly to execv with regards to environments when used in subprocess functions.

IDLE: Add util and stub example comments (#113222)

GH-110109: pathlib tests: store base directory as test class attribute (#113221)

Store the test base directory as a class attribute named `base` rather than
module constants named `BASE`.

The base directory is a local file path, and therefore not ideally suited
to the pathlib ABC tests. In a future commit we'll change its value in
`test_pathlib_abc.py` such that it points to a totally fictitious path, which
will help to ensure we're not touching the local filesystem.

GH-110109: Move tests for pathlib ABCs to new module. (#112904)

gh-113202: Add a strict option to itertools.batched() (gh-113203)

gh-67790: Support basic formatting for Fraction (#111320)

PR #100161 added fancy float-style formatting for the Fraction type,
but left us in a state where basic formatting for fractions (alignment,
fill, minimum width, thousands separators) still wasn't supported.

This PR adds that support.

---------

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-113046: Revise csv.reader doc (#113207)

Clarify nature of csvfile.

gh-111964: Add _PyRWMutex a "readers-writer" lock (gh-112859)

This adds `_PyRWMutex`, a "readers-writer" lock, which wil be used to
serialize global stop-the-world pauses with per-interpreter pauses.

Add reshape() recipe to demonstrate a use case for batched() and chained.from_iterable() (gh-113198)

gh-110746: Improve markup in ``tkinter.ttk.rst`` (#111236)

* gh-110746: Improve markup in tkinter.ttk.rst

* gh-110746: Improve markup in tkinter.ttk.rst

* 📜🤖 Added by blurb_it.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

GH-112383: Fix test_loop_quicken when an executor is installed (GH-113153)

gh-101100: Fix various Sphinx warnings for dunder references in the `library/` directory (#113163)

gh-101100: Fix Sphinx nitpicks in `library/numbers.rst` (#113162)

gh-113172: Fix compiler warnings in Modules/_xxinterpqueuesmodule.c (GH-113173)

Fix compiler waarnings in Modules/_xxinterpqueuesmodule.c

[CVE-2023-27043] gh-102988: Reject malformed addresses in email.parseaddr() (#111116)

Detect email address parsing errors and return empty tuple to
indicate the parsing error (old API). Add an optional 'strict'
parameter to getaddresses() and parseaddr() functions. Patch by
Thomas Dwyer.

Co-Authored-By: Thomas Dwyer <github@tomd.tel>

gh-113009: Fix multiprocessing Process.terminate() on Windows (#113128)

On Windows, Process.terminate() no longer sets the returncode
attribute to always call WaitForSingleObject() in Process.wait().
Previously, sometimes the process was still running after
TerminateProcess() even if GetExitCodeProcess() is not STILL_ACTIVE.

gh-112278: Add retry in WMI tests in case of slow initialization (GH-113154)

gh-61648: Detect line numbers of properties in doctests (GH-113161)

GH-111485: Mark some instructions as `TIER_ONE_ONLY` (GH-113155)

gh-112720: Move dis's cache output code to the Formatter, labels lookup to the arg_resolver. Reduce the number of parameters passed around. (#113108)

gh-101100: Fix Sphinx nitpicks in `library/rlcompleter.rst` (#113125)

gh-112535: Update _Py_ThreadId() to support RISC-V (gh-113084)

Update _Py_ThreadId() to support RISC-V

Optimize unique_justseen() recipe for a common case. (gh-113147)

gh-101100: Cleanup `mailbox` docs (#113124)

gh-101100: Fix Sphinx warnings in `whatsnew/2.3.rst` (#112373)

Remove itertool recipe with low pedagogical value (gh-113138)

gh-101100: Fix Sphinx nitpicks in `library/collections.abc.rst` (#113116)

Add recipe for totient() to demonstrate unique_justseen() and factor(). (gh-113131)

gh-105912: document gotcha with using os.fork on macOS (#112871)

* gh-105912: document gotcha with using os.fork on macOS

Using ``fork(2)`` on macOS when also using higher-level
system APIs in the parent proces can crash on macOS because
those system APIs are not written to handle this usage
pattern.

There's nothing we can do about this other than documenting
the problem.

Co-authored-by: Carol Willing <carolcode@willingconsulting.com>

bpo-36796: Clean the error handling in _testcapimodule.c (GH-13085)

GH-111485: Sort metadata tables for easier checking of future diffs (GH-113101)

gh-113113: doc: use less ambiguously named variable (gh-113114)

gh-86179: Avoid making case-only changes when calculating realpath() during initialization (GH-113077)

GH-112354: Treat _EXIT_TRACE like an unconditional side exit (GH-113104)

gh-101100: Fix Sphinx nitpicks in `library/traceback.rst` (#113106)

gh-101100: Fix Sphinx nitpicks in `library/inspect.rst` and `reference/simple_stmts.rst` (#113107)

gh-112716: Fix SystemError when __builtins__ is not a dict (GH-112770)

It was raised in two cases:
* in the import statement when looking up __import__
* in pickling some builtin type when looking up built-ins iter, getattr, etc.

gh-112730: Update docs for colour env vars (#112837)

gh-59616: Support os.chmod(follow_symlinks=True) and os.lchmod() on Windows (GH-113049)

gh-113090: Fix test.support.os_support.can_chmod() on Windows (GH-113091)

gh-112205: Update textio module to use `@getter` as possible. (gh-113095)

Fixing typo in DocTestRunner docs (GH-112326)

gh-111049: Fix crash during garbage collection of the BytesIO buffer object (GH-111221)

gh-90890: Reorder mailbox.Maildir method documentation (GH-113071)

When new mailbox.Maildir methods were added for 3.13.0a2, their
documentation was added at the end of the mailbox.Maildir section
instead of grouping them with other methods Maildir adds to Mailbox.

This commit moves the new methods' documentation adjacent to
documentation for existing Maildir-specific methods, so that
the "special remarks" for common methods remains at the end.

gh-113086: Add tests for os.chmod() and os.lchmod() (GH-113087)

Also make test_copymode_symlink_to_symlink in test_shutil more strict.

gh-86179: Implement realpath() on Windows for getpath.py calculations (GH-113033)

Move optimizer/executor tests to new file test_capi/test_opt.py (#113072)

bpo-40648: Test modes that file can get with chmod() on Windows (GH-20130)

Order of tests matter second part makes testing file writable and
possible to remove again.

gh-107959: clarify Unix-availability of `os.lchmod()` (GH-107960)

POSIX specifies that implementations are not required to support changing the
file mode of symbolic links, but may do so.
Consequently, `lchmod()` is not part of POSIX (but mentioned for implementations
which do support the above).

The current wording of the availability of `os.lchmod()` is rather vague and
improved to clearly tell which POSIX/Unix/BSD-like support the function in
general (those that support changing the file mode of symbolic links).
Further, some examples of major implementations are added.

Data for the BSDs taken from their online manpages.

Signed-off-by: Christoph Anton Mitterer <mail@christoph.anton.mitterer.name>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

Docs: Fix external link to devguide.python.org (GH-112899)

gh-101100: Improve docs on exception attributes (GH-113057)

* Improve docs on exception attributes

* thanks sphinx-lint

* fix doctests

* argh, okay, give up on doctests

* Various improvements

Use match/case in grouper() recipe (gh-113059)

Use match/case in grouper() reciper

gh-76785: Fix CODEOWNERS (gh-113038)

In gh-112982 I made some changes to .github/CODEOWNERS.  Later, @ezio-melotti pointed out that some of those changes were unnecessary.

gh-110190: Fix ctypes structs with array on PPCLE64 (GH-112959)

Fix the same issue of PR #112604 on PPC64LE platform
Refactor tests to make easier to add more platfroms if needed.

gh-111650: Ensure pyconfig.h includes Py_GIL_DISABLED on Windows (GH-112778)

gh-112205: Support `@setter` annotation from AC (gh-112922)

---------

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

Fix whitespace in generated code

[pprint]: Add docstring about `PrettyPrinter.underscore_numbers` parameter (#112963)

Co-authored-by: Kirill Podoprigora <kirill.bast9@mail.ru>

gh-112962: in dis module, put cache information in the Instruction instead of creating fake Instructions to represent it (#113016)

gh-101100: Fix Sphinx warning in references with asterisks (#113029)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-101336: Add keep_alive keyword arg for asyncio create_server() (#112485)

gh-112622: Pass name to loop create_task method (#112623)

This affects task creation through either `asyncio.create_task()` or `TaskGroup.create_task()` -- the redundant call to `task.set_name()` is skipped. We still call `set_name()` when a task factory is involved, because the task factory call signature (unfortunately) doesn't take a `name` argument.

gh-76785: Avoid Pickled TracebackException for Propagated Subinterpreter Exceptions (gh-113036)

We need the TracebackException of uncaught exceptions for a single purpose: the error display.  Thus we only need to pass the formatted error display between interpreters.  Passing a pickled TracebackException is overkill.

gh-112989: asyncio: Reduce overhead to connect sockets with SelectorEventLoop (#112991)

_ensure_fd_no_transport had a KeyError in the success path

gh-112723: Call `PyThreadState_Clear()` from the correct interpreter (#112776)

The `PyThreadState_Clear()` function must only be called with the GIL
held and must be called from the same interpreter as the passed in
thread state. Otherwise, any Python objects on the thread state may be
destroyed using the wrong interpreter, leading to memory corruption.

This is also important for `Py_GIL_DISABLED` builds because free lists
will be associated with PyThreadStates and cleared in
`PyThreadState_Clear()`.

This fixes two places that called `PyThreadState_Clear()` from the wrong
interpreter and adds an assertion to `PyThreadState_Clear()`.

gh-76785: Show the Traceback for Uncaught Subinterpreter Exceptions (gh-113034)

When an exception is uncaught in Interpreter.exec_sync(), it helps to show that exception's error display if uncaught in the calling interpreter.  We do so here by generating a TracebackException in the subinterpreter and passing it between interpreters using pickle.

gh-112320: Implement on-trace confidence tracking for branches (#112321)

We track the confidence as a scaled int.

gh-113010: Don't decrement deferred in pystats (#113032)

This fixes a recently introduced bug where the deferred count is being unnecessarily decremented to counteract an increment elsewhere that is no longer happening. This caused the values to flip around to "very large" 64-bit numbers.

gh-101100: Further improve docs on function attributes (#113001)

GH-108866: Guarantee forward progress in executors. (GH-113006)

gh-76785: Add Interpreter.prepare_main() (gh-113021)

This is one of the last pieces to get test.support.interpreters in sync with PEP 734.

gh-76785: More Fixes for test.support.interpreters (gh-113012)

This brings the module (along with the associated extension modules) mostly in sync with PEP 734.  There are only a few small things to wrap up.

gh-76785: Fix test_threading on Non-Subinterpreter Builds (gh-113014)

gh-112982 broke test_threading on one of the s390 buildbots (Fedora Clang Installed).  Apparently ImportError is raised (rather than ModuleNotFoundError) for the name part of "from" imports.  This fixes that by catching ImportError in test_threading.py.

gh-112999: Replace the outdated "deprecated" directives with "versionchanged" (GH-113000)

Update pre-commit to fix Sphinx Lint (#113015)

gh-76785: Fixes for test.support.interpreters (gh-112982)

This involves a number of changes for PEP 734.

gh-51944: fix type and missing addition in gh-112823 (#112996)

Fix the defition of VDSUSP and add CCTS_OFLOW (which
was mentioned in NEWS, but not actually addded)

GH-111485: Factor out tier 2 code generation from the rest of the interpreter code generator (GH-112968)

gh-112970: Detect and use closefrom() when available (#112969)

glibc-2.34 implements closefrom(3) using the same semantics as on BSD.
Check for closefrom() in configure and use the check result in
fileutils.c, rather than hardcoding a FreeBSD check.

Some implementations of closefrom() return an int. Explicitly discard
the return value by casting it to void, to avoid future compiler
warnings.

Signed-off-by: Sam James <sam@gentoo.org>

gh-87286: Add a number of LOG_* constants to syslog (#24432)

* bpo-43120: Add a number of LOG_* constants to syslog

This adds a number of syslog facilities to the syslogmodule.c.
These values are available on macOS.

* Switch contant documentation to the data directive

This fixes a CI warning and matches the pattern
used in the documentation for ``os``.

* Update Doc/library/syslog.rst

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-112953: Rename idlelib/NEWS.txt to News3.txt and update (#112988)

gh-112983: Add the known magic value of 3495 for Python 3.11 bytecode (#112985)

Add the known magic value of 3495 for Python 3.11 bytecode

A smattering of cleanups in uop debug output and lltrace (#112980)

* Include destination T1 opcode in Error debug message
* Include destination T1 opcode in DEOPT debug message
* Remove obsolete comment from remove_unneeded_uops
* Change lltrace_instruction() to print caller's opcode/oparg

gh-112532: Require mimalloc in `--disable-gil` builds (gh-112883)

gh-112978: Remove redundant condition inside `take_gil` (gh-112979)

gh-71383: Update Tcl/Tk version in Windows to our patched build containing a targeted upstream fix (GH-112973)

GH-83162: Rename re.error for better clarity. (#101677)

Renamed re.error for clarity, and kept re.error for backward compatibility.
Updated idlelib files at TJR's request.
---------

Co-authored-by: Matthias Bussonnier <mbussonnier@ucmerced.edu>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

gh-90350: Optimize builtin functions min() and max() (GH-30286)

Builtin functions min() and max() now use METH_FASTCALL

gh-112529: Use atomic operations for `gcstate->collecting` (#112533)

* gh-112529: Use atomic operations for `gcstate->collecting`

The `collecting` field in `GCState` is used to prevent overlapping garbage
collections within the same interpreter. This is updated to use atomic
operations in order to be thread-safe in `--disable-gil` builds.

The GC code is refactored a bit to support this. More of the logic is pushed
down to `gc_collect_main()` so that we can safely order the logic setting
`collecting`, the selection of the generation, and the invocation of callbacks
with respect to the atomic operations and the (future) stop-the-world pauses.

The change uses atomic operations for both `--disable-gil` and the default
build (with the GIL) to avoid extra `#ifdef` guards and ease the maintenance
burden.

gh-108303: Move `double_const` to `test_import` where it belongs (#112108)

gh-112507: Detect Cygwin and MSYS with `uname` instead of `$OSTYPE` (GH-112508)

Detect Cygwin and MSYS with `uname` instead of `$OSTYPE`

`$OSTYPE` is not defined by POSIX and may not be present in other shells.
`uname` is always available in any shell.

gh-111178: Avoid calling functions from incompatible pointer types in memoryobject.c (GH-112863)

* Make memory_clear() compatible with inquiry
* Make memory_traverse() compatible with traverseproc
* Make memory_dealloc() compatible with destructor
* Make memory_repr() compatible with reprfunc
* Make memory_hash() compatible with hashfunc
* Make memoryiter_next() compatible with iternextfunc
* Make memoryiter_traverse() compatible with traverseproc
* Make memoryiter_dealloc() compatible with destructor
* Make several functions compatible with getter
* Make a few functions compatible with getter
* Make memory_item() compatible with ssizeargfunc
* Make memory_subscript() compatible with binaryfunc
* Make memory_length() compatible with lenfunc
* Make memory_ass_sub() compatible with objobjargproc
* Make memory_releasebuf() compatible with releasebufferproc
* Make memory_getbuf() compatible with getbufferproc
* Make mbuf_clear() compatible with inquiry
* Make mbuf_traverse() compatible with traverseproc
* Make mbuf_dealloc() compatible with destructor

gh-94606: Fix error when message with Unicode surrogate not surrogateescaped string (GH-94641)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-112898: warn about unsaved files when quitting IDLE on macOS (#112939)

* gh-112898: warn about unsaved files when quitting IDLE on macOS

Implement the TK function ``::tk::mac::Quit`` on macOS to
ensure that IDLE asks about saving unsaved files when
quitting IDLE.

Co-authored-by: Christopher Chavez chrischavez@gmx.us