gh-57684: Document safe path in What's New in Python 3.11 (#92362)

Mention also -P and PYTHONSAFEPATH in the Security Considerations
page.

gh-57684: Update tests for PYTHONSAFEPATH=1 (#92358)

Fix tests failing with the PYTHONSAFEPATH=1 env var.

Enhance also -P help in Python usage (python --help).

gh-80010: Expand fromisoformat to include most of ISO-8601 (#92177)

This expands `fromisoformat` to cover most of the common uses of ISO 8601. We may expand the scope more in the future.

gh-57684: Add -P cmdline option and PYTHONSAFEPATH env var (#31542)

Add the -P command line option and the PYTHONSAFEPATH environment
variable to not prepend a potentially unsafe path to sys.path.

* Add sys.flags.safe_path flag.
* Add PyConfig.safe_path member.
* Programs/_bootstrap_python.c uses config.safe_path=0.
* Update subprocess._optim_args_from_interpreter_flags() to handle
  the -P command line option.
* Modules/getpath.py sets safe_path to 1 if a "._pth" file is
  present.

gh-82616: Add process_group support to subprocess.Popen (#23930)

One more thing that can help prevent people from using `preexec_fn`.

Also adds conditional skips to two tests exposing ASAN flakiness on the Ubuntu 20.04 Address Sanitizer Github CI system. When that build is run on more modern systems the "problem" does not show up. It seems ASAN implementation related.

Co-authored-by: Zackery Spytz <zspytz@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-70363: Emscripten cannot fstat renamed spool file (GH-92354)

gh-91996: Add an HTTPMethod StrEnum to http (GH-91997)

* Add HTTPMethod enum to http

Create a StrEnum for the 9 common HTTP methods.

Co-authored-by: Ethan Furman <ethan@stoneleaf.us>

gh-92135: test_cppext requires subprocess (GH-92349)

gh-64783: Don't check value of SIG_DFL and SIG_IGN (#92350)

gh-92345: Import rlcompleter before sys.path is extended (#92346)

``pymain_run_python()`` now imports ``readline`` and ``rlcompleter``
before sys.path is extended to include the current working directory of
an interactive interpreter. Non-interactive interpreters are not
affected.

Also move imports of ``re`` and ``keyword`` module to top level so they
are materialized early, too. The ``keyword`` module is trivial and the
``re`` is already imported via ``inspect`` -> ``linecache``.

gh-87390: Fix starred tuple equality and pickling (GH-92337)

minor hashlib doc example cleanup. (#92340)

Closes #85465

gh-92301: subprocess: Prefer close_range() to procfs-based fd closing (#92303)

#92301: subprocess: Prefer `close_range()` to procfs-based fd closing.

`close_range()` is much faster for large number of file descriptors, e.g.
4 times faster for 1000 descriptors in a Linux 5.16-based environment.

We prefer close_range() only if it's known to be async-signal-safe.

gh-92118: Add test for traceback when exception is modified by (Async)ExitStack.__exit__ (GH-92339)

bpo-41818: Add os.login_tty() for *nix. (#29658)

* Add `os.login_tty(fd)` for Unix.

Reviewed-by: Christian Heimes <christian@python.org>
Signed-off-by: Gregory P. Smith [Google LLC] <greg@krypto.org>

bpo-43827: Make arguments to abc.ABCMeta.__new__ pos-only (#25385)

To avoid conflicts with `__init__subclass__`.

bpo-43857: Improve the AttributeError message when deleting a missing attribute (#25424)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-92047: Py_GetVersion multi-digit minor version (GH-92047) (#92048)

gh-89653: PEP 670: Convert PyCFunction macros to functions (#92302)

Convert the following macros to static inline functions:

* PyCFunction_GET_CLASS()
* PyCFunction_GET_FLAGS()
* PyCFunction_GET_FUNCTION()
* PyCFunction_GET_SELF()

Limited C API version 3.11 no longer casts arguments.

Clean-up and simplify median_grouped().  Vastly improve its docstring. (#92324)

Allow translating argument error messages (#17169)

bpo-46764: Fix wrapping bound method with @classmethod (#31367)

gh-92223: Remove pre-Python 3.7 alternative in asyncio docs (#92224)

gh-92118: fix traceback of exceptions propagated from inside a contextlib.contextmanager (GH-92202)

GH-92239: Make sure that PEP 523 is supported, even when specializing first. (GH-92245)

gh-92107: Add tests that subscription works on arbitrary named tuple types (GH-92304)

gh-92210: Move socket.__init__ to argument clinic (#92237)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>
Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@protonmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-89022: Improve sqlite3 exceptions related to binding params and API misuse (#91572)

* Map SQLITE_MISUSE to sqlite3.InterfaceError

SQLITE_MISUSE implies misuse of the SQLite C API, which, if it happens,
is _not_ a user error; it is an sqlite3 extension module error.

* Raise better errors when binding parameters fail.

Instead of always raising InterfaceError, guessing what went wrong,
raise accurate exceptions with more accurate error messages.

Use static inline function Py_EnterRecursiveCall() (#91988)

Currently, calling Py_EnterRecursiveCall() and
Py_LeaveRecursiveCall() may use a function call or a static inline
function call, depending if the internal pycore_ceval.h header file
is included or not. Use a different name for the static inline
function to ensure that the static inline function is always used in
Python internals for best performance. Similar approach than
PyThreadState_GET() (function call) and _PyThreadState_GET() (static
inline function).

* Rename _Py_EnterRecursiveCall() to _Py_EnterRecursiveCallTstate()
* Rename _Py_LeaveRecursiveCall() to _Py_LeaveRecursiveCallTstate()
* pycore_ceval.h: Rename Py_EnterRecursiveCall() to
  _Py_EnterRecursiveCall() and Py_LeaveRecursiveCall() and
  _Py_LeaveRecursiveCall()

gh-92036: Fix gc_fini_untrack() (#92037)

Fix a crash in subinterpreters related to the garbage collector. When
a subinterpreter is deleted, untrack all objects tracked by its GC.
To prevent a crash in deallocator functions expecting objects to be
tracked by the GC, leak a strong reference to these objects on
purpose, so they are never deleted and their deallocator functions
are not called.

Fix renamed "total" variable (#92287)

* Fix renamed "total" variable
* Keep nan/inf handling consistent between versions

Fix typo in Sorting howto (#92280)

The phrase is usually "odds and ends," not "odd and ends."

gh-67248: cmd: Sort miscellaneous help topics (#92254)

Closes #67248

Compute from_sample() in a single pass over the data (#92284)

gh-78214: marshal: Stabilize FLAG_REF usage (GH-8226)

Use FLAG_REF always for interned strings.

Refcounts of interned string is very unstable.
When compiling same source, refcounts of interned string in the output may be 1 or >1.
It makes FLAG_REF usage unstable.

To help reproducible build, use FLAG_REF for interned string even if refcnt(obj)==1.

bpo-47029: Fix BrokenPipeError in multiprocessing.Queue at garbage collection and explicit close (#31913)

gh-80254: Disallow recursive usage of cursors in `sqlite3` converters (#29054)

Co-authored-by: Sergey Fedoseev <fedoseev.sergey@gmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

Add more stats for freelist use and allocations. (GH-92211)

GH-91173: disable frozen modules in debug builds (#92023)

gh-91928: Add `datetime.UTC` alias for `datetime.timezone.utc` (GH-91973)

### fixes #91928

`UTC` is now module attribute aliased to `datetime.timezone.utc`.
You can now do the following:
```python
from datetime import UTC
```

gh-87304: Improve comments in language reference for imports (#92164)

gh-92206: Improve scoping of sqlite3 statement helper (#92260)

Improve the typing docs (#92264)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-81057: Fix indent. (gh-92267)

bpo-45639: Add webp and avif image formats to mimetypes (#29259)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-92062: `inspect.Parameter` checks whether `name` is a keyword (GH-92065)

Fixes #92062.

gh-91321: Fix PyModuleDef_HEAD_INIT on C++ (#92259)

The PyModuleDef_HEAD_INIT macro now uses _Py_NULL to fix C++ compiler
warnings when using it in C++.

gh-89289: Fix compiler warning in _sqlite/connection.c (#92258)

gh-92206: Improve scoping of sqlite3 bind param functions (#92250)

gh-91320: Use _PyCFunction_CAST() (#92251)

Replace "(PyCFunction)(void(*)(void))func" cast with
_PyCFunction_CAST(func).

Change generated by the command:

sed -i -e \
  's!(PyCFunction)(void(\*)(void)) *\([A-Za-z0-9_]\+\)!_PyCFunction_CAST(\1)!g' \
  $(find -name "*.c")

gh-91321: Add _Py_NULL macro (#92253)

Fix C++ compiler warnings: "zero as null pointer constant"
(clang -Wzero-as-null-pointer-constant).

* Add the _Py_NULL macro used by static inline functions to use
  nullptr in C++.
* Replace NULL with nullptr in _testcppext.cpp.

gh-81057: Get the c-analyzer tool working again. (gh-92246)

gh-90172: add test for functools.singledispatch on Union types with None type (#92174)

Signed-off-by: prwatson <prwatson@redhat.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-91320: Fix more old-style cast warnings in C++ (#92247)

Use _Py_CAST(), _Py_STATIC_CAST() and _PyASCIIObject_CAST() in
static inline functions to fix C++ compiler warnings:
"use of old-style cast" (clang -Wold-style-cast).

test_cppext now builds the C++ test extension with -Wold-style-cast.

gh-91320: Argument Clinic uses _PyCFunction_CAST() (#32210)

Replace "(PyCFunction)(void(*)(void))func" cast with
_PyCFunction_CAST(func).

gh-89289: Harden sqlite3.Connection init (#92214)

- Make sure SQLite resources are freed if database open fails
- Remove unneeded branches if init is aborted

gh-89653: PEP 670: Convert PyBytes macros to functions (#91990)

Convert the following macros to static inline functions:

* PyByteArray_AS_STRING()
* PyByteArray_GET_SIZE()
* PyBytes_AS_STRING()
* PyBytes_GET_SIZE()

Limited C API version 3.11 no longer casts arguments.

Add _PyBytes_CAST() and _PyByteArray_CAST() macros.

gh-92206: Improve scoping of sqlite3 reset statement helper (#92241)

bpo-46696: Add socket.SO_INCOMING_CPU constant (#31237)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-29890: Test IPv*Interface construction with tuple argument (#30862)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-91752: Skip test_freeze_simple_script when zlib is not available (#91758)

Fixes GH-91752.

gh-88753: Make BooleanOptionalAction's addition of default to help more similar to other actions (#27808)

Help for other actions omit the default value if default is SUPPRESS or
already contains the special format string '%(default)'.  Add those
special cases to BooleanOptionalAction's help formatting too.

Fixes https://bugs.python.org/issue44587 so that default=SUPPRESS is not
emitted.

Fixes https://bugs.python.org/issue38956 as this code will detect
whether '%(default)s' has already been specified in the help string.

Signed-off-by: Micky Yun Chan (michiboo): <chanmickyyun@gmail.com>
Co-authored-by: Micky Yun Chan <michan@redhat.com>

gh-89452: Prefer gdbm-compat over ndbm (#92208)

This makes macOS gdbm provided by Homebrew not segfault through correct
selection of the linked library (-lgdbm_compat) *AND* the correct ndbm-style
header (gdbm-ndbm.h instead of the invalid ndbm.h).

bpo-46604: fix function name in ssl module docstring (#31064)

The function fetch_server_certificate is replaced by get_server_certificate in the module. I reflected the change in the module docstrings.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-92031: Deoptimize Static Code at Finalization (GH-92039)

gh-90887: posix module: Add more flags for fcopy_file (#31300)

Closes #90887

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

GH-91355: micro-optimize Connection.send_bytes() method (gh-32247)

Link to GitHub instead of BPO for CPython bug tracker (GH-92221)

gh-92135: Rename _Py_reinterpret_cast() to _Py_CAST() (#92230)

Rename also _Py_static_cast() to _Py_STATIC_CAST().

bpo-44863: Allow generic typing.TypedDict (#27663)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
Co-authored-by: Yurii Karabas <1998uriyyo@gmail.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-92154: Expose PyCode_GetCode in the C API (GH-92168)

gh-92206: Improve scoping of sqlite3 register cursor helper (#92212)

Dependabot: only bump actions for major versions (#92186)

gh-70363: Implement `io.IOBase` interface for `SpooledTemporaryFile` (GH-29560)

Since the underlying file-like objects (either `io.BytesIO`,
or a true file object) all implement the `io.IOBase`
interface, the `SpooledTemporaryFile` should as well.

Additionally, since the underlying file object will either be an
instance of an `io.BufferedIOBase` (for binary mode) or an
`io.TextIOBase` (for text mode), methods for these classes were also
implemented.

In every case, the required methods and properties are simply delegated
to the underlying file object.

Co-authored-by: Gary Fernie <Gary.Fernie@skyscanner.net>
Co-authored-by: Inada Naoki <songofacandy@gmail.com>

bpo-46415: Use f-string for ValueError in ipaddress.ip_{address,network,interface} helper functions (#30642)

`IPv*Network` and `IPv*Interface` constructors accept a 2-tuple of
(address description, netmask) as the address parameter.
When the tuple-based address is used errors are not propagated
correctly through the `ipaddress.ip_*` helper because of the %-formatting now expecting several arguments:

In [7]: ipaddress.ip_network(("192.168.100.0", "fooo"))
        ...
TypeError: not all arguments converted during string formatting

Compared to:

In [8]: ipaddress.IPv4Network(("192.168.100.0", "foo"))
        ...
NetmaskValueError: 'foo' is not a valid netmask

Use an f-string to make sure the error is always properly formatted.

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

The stdev calculation is more accurate computing its own mean (#92220)

gh-92169: Use warnings_helper.import_deprecated() to import deprecated modules uniformly in tests (GH-92170)

Fix doc warnings in What's New in 3.11 (GH-92215)

bpo-46267: Test compresslevel in gzip.compress  (#30416)

Fixes #90425

gh-92206: Move pysqlite_step() to Modules/_sqlite/cursor.c (#92207)

bpo-46785: Fix race condition between os.stat() and unlink on Windows (GH-31858)

gh-91621: Fix typing.get_type_hints for collections.abc.Callable (#91656)

This mirrors logic in typing.get_args. The trickiness comes from how we
flatten args in collections.abc.Callable, see
https://bugs.python.org/issue42195

gh-84461: Add ability for multiprocessed libregrtest to use a different Python executable (GH-91930)

bpo-43923: Add support for generic typing.NamedTuple (#92027)

gh-92106: Add test that subscription works on arbitrary TypedDicts (#92176)

gh-92032: Add soft keywords to rlcompleter (#92029)

Let the interpreter autocomplete soft-keywords, ATM the PEP-634 'match'
/ 'case' / '_' (wildcard pattern).

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

bpo-46586: Fix more erroneous doc links to builtins (#31429)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Éric <merwok@netwok.org>

Delete outdated comment in logging module (#31117)

The root logger is now accessible via its name, see
https://github.com/python/cpython/pull/15077

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-46285: Add command-line option -p/--protocol to module http.server (#30999)

Co-authored-by: Éric <merwok@netwok.org>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-6686: Replace String with Bytes in xml.sax.handler documentation (#30612)

bpo-46547: remove leaking vars into `pydoc.Helper` namespace (#30957)

Fixes #90705

importlib docs: Update importlib.abc hierarchy (#31113)

Fixed some inconsistencies in the text about relationships

bpo-46787: Fix `ProcessPoolExecutor exception` memory leak (GH-31408) (#31408)

Do not store `ProcessPoolExecutor` work item exception traceback that prevents
exception frame locals from being garbage collected.

Fix the closure argument to PyEval_EvalCodeEx. (GH-92175)

Fix duplicate word. (GH-92182)

gh-87390: Add __unpacked__ attribute to types.GenericAlias (#92059)

gh-90765: configparser test: Catch deprecation warning (#91480)

gh-90213: Speed up right shifts of negative integers (GH-30277)

gh-91783: Document security considerations for shutil.unpack_archive (#91844)

suggestions.c: Improve efficiency of levenshtein_distance method (#91835)