bpo-44493: Add missing terminated NUL in sockaddr_un's length (GH-26866)

Add missing terminated NUL in sockaddr_un's length

- Linux: https://man7.org/linux/man-pages/man7/unix.7.html
- *BSD: SUN_LEN

bpo-47127: Specialize calls for fastcall c methods with keywords (GH-32125)

* add PRECALL_METHOD_DESCRIPTOR_FAST_WITH_KEYWORDS

bpo-46429: tweak deepfreeze output (#32107)

bpo-45171: Remove tests of deprecated logger.warn(). (GH-32139)

bpo-45171: Fix stacklevel handling in logging. (GH-28287)

bpo-47098: Replace Keccak Code Package with tiny_sha3 (GH-32060)

bpo-47095: Use libb2 to provide blake2 implementation (GH-32059)

bpo-47116: use _PyLong_FromUnsignedChar instead of PyLong_FromLong (GH-32110)

bpo-43224: Implement PEP 646 grammar changes (GH-31018)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-47117: Don't crash if we fail to decode characters when the tokenizer buffers are uninitialized (GH-32129)

Automerge-Triggered-By: GH:pablogsal

bpo-47105: Cite grp.h instead of pwd.h in grp docs (GH-32091)

bpo-47062: Rename factory argument to loop_factory (GH-32113)

bpo-43352: Add a Barrier object in asyncio lib (GH-24903)

Co-authored-by: Yury Selivanov <yury@edgedb.com>
Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

bpo-47118: Fix asyncio.Runner tests error (32117)

Fix some typos in whatsnew (GH-32098)

* Fix some typos and phrasing

* Convert the `hash()` text to a link

* Remove definite article

bpo-47053: Reduce deoptimization in BINARY_OP_INPLACE_ADD_UNICODE (GH-31318)

* Don't deopt if refcounts are too big

* Detect more at specialization time

bpo-42197: Don't create `f_locals` dictionary unless we actually need it. (GH-32055)

* `PyFrame_FastToLocalsWithError` and `PyFrame_LocalsToFast` are no longer called during profile and tracing.
 (Contributed by Fabio Zadrozny)

* Make accesses to a frame's `f_locals` safe from C code, not relying on calls to `PyFrame_FastToLocals` or `PyFrame_LocalsToFast`.

* Document new `PyFrame_GetLocals` C-API function.

Add an issue template config for the migration (GH-32101)

bpo-40280: Add wasm32-emscripten and wasm32-wasi SOABI (GH-32095)

Shared extension on Emscripten now have suffix
``.cpython-311-wasm32-emscripten.so`` (JS loader) and
``.cpython-311-wasm32-emscripten.wasm`` (WebAssembly code).

bpo-47062: Implement asyncio.Runner context manager (GH-31799)

Co-authored-by: Zachary Ware <zach@python.org>

bpo-46841: remove no-longer-used macro UPDATE_PREV_INSTR_OPARG (GH-32100)

bpo-40465: Document random module changes in 3.11 What's new (#31818)

bpo-46480: rephrase typing.assert_type docs (GH-32069)

The goal here is to reduce potential confusion between
`assert_type(val, type)` and `assert isinstance(val, typ)`.

The former is meant to ask a type checker to confirm a fact, the latter
is meant to tell a type checker a fact. The behaviour of the latter more
closely resembles what I'd expect from the prior phrasing of
"assert [something] to the type checker".

Fix GPG signing in Windows release build (GH-32089)

bpo-47104: Rewrite asyncio.to_thread tests to use IsolatedAsyncioTestCase (GH-32086)

bpo-47101: list only activated algorithms in hashlib.algorithms_available (GH-32076)

bpo-31582: Created a new documentation section describing sys.path initialization (GH-31082)

bpo-47086: Remove dead link to old CHM documentation (GH-32075)

bpo-46712: Do not Regen Deep-Frozen Modules before Generating Global Objects (gh-32061)

We have to run "make regen-deepfreeze" before running Tools/scripts/generate-global-objects.py; otherwise we will miss any changes to global objects in deep-frozen modules (which aren't committed in the repo).  However, building $(PYTHON_FOR_FREEZE) fails if one of its source files had a global object (e.g. via _Py_ID(...)) added or removed, without generate-global-objects.py running first.  So "make regen-global-objects" would sometimes fail.

We solve this by running generate-global-objects.py before *and* after "make regen-deepfreeze". To speed things up and cut down on noise, we also avoid updating the global objects files if there are no changes to them.

https://bugs.python.org/issue46712

bpo-46541: Add a Comment About When to Use _Py_DECLARE_STR(). (gh-32063)

In a gh-32003 comment, I realized it wasn't very clear how _Py_DECLARE_STR() should be used.  This changes adds a comment to clarify.

https://bugs.python.org/issue46541

bpo-46829: Deprecate passing a message into Future.cancel() and Task.cancel() (GH-31840)

After a long deliberation we ended up feeling that the message argument for Future.cancel(), added in 3.9, was a bad idea, so we're deprecating it in 3.11 and plan to remove it in 3.13.

Correctly document class instead of function (GH-32016)

bpo-46836: Add Doc/c-api/frame.rst (GH-32051)

Reorganize the documentation of the PyFrameObject C API.

[doc] configparser: avoid inline comments. (GH-31247)

People are testing those blocs with the default
inline_comment_prefixes of None, leading to a:

configparser.InterpolationSyntaxError: '$' must be followed by '$' or '{', found: '$ sign ($ is the only character that needs to be escaped)'

bpo-42238: [doc] Some lines moved in rst, but had hardcoded lineno in susp-ignored.csv. (GH-32070)

bpo-47012: speed up iteration of bytes and bytearray (GH-31867)

bpo-46864: Suppress deprecation warnings for ob_shash. (GH-32042)

Fix typo in Path.iterdir docs (GH-31822)

bpo-43166: Disable ceval.c optimizations for Windows debug builds (GH-32023)

Also increases the stack allocation when run with `python_d.exe` to account for the extra stack checks that are added.

bpo-2604: Make doctest.DocTestCase reset globs in teardown (GH-31932)

Co-authored-by: Piet Delport
Co-authored-by: Hugo Lopes Tavares
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-32033: Finalize WASI configure options (GH-32053)

bpo-46315: Use fopencookie() to avoid dup() in _PyTokenizer_FindEncodingFilename (GH-32033)

WASI does not have dup() and Emscripten's emulation is slow.

bpo-45150: Fix testing under FIPS mode (GH-32046)

bpo-42885: Optimize search for regular expressions starting with "\A" or "^" (GH-32021)

Affected functions are re.search(), re.split(), re.findall(), re.finditer()
and re.sub().

bpo-45997: Fix asyncio.Semaphore re-acquiring order (GH-31910)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-47076: Make asyncio.Queue stable on slow test boxes (GH-32040)

bpo-47045: Remove `f_state` field (GH-31963)

* Remove the f_state field from _PyInterpreterFrame

*  Make ownership of the frame explicit, replacing the is_generator field with an owner field.

bpo-47084: Clear Unicode cached representations on finalization (GH-32032)

bpo-46838: Syntax error improvements for function definitions (GH-31590)

bpo-40280: Skip socket, fork, subprocess tests on Emscripten (GH-31986)

- Add requires_fork and requires_subprocess to more tests
- Skip extension import tests if dlopen is not available
- Don't assume that _testcapi is a shared extension
- Skip a lot of socket tests that don't work on Emscripten
- Skip mmap tests, mmap emulation is incomplete
- venv does not work yet
- Cannot get libc from executable

The "entire" test suite is now passing on Emscripten with EMSDK from git head (91 suites are skipped).

bpo-28080: Add support for the fallback encoding in ZIP files (GH-32007)

* Add the metadata_encoding parameter in the zipfile.ZipFile constructor.
* Add the --metadata-encoding option in the zipfile CLI.

Co-authored-by: Stephen J. Turnbull <stephen@xemacs.org>

bpo-47081: Replace "qualifiers" with "quantifiers" in the re module documentation (GH-32028)

It is a more commonly used term.

bpo-45150: Add hashlib.file_digest() for efficient file hashing (GH-31930)

bpo-47086: Remove .chm from Windows installer and add HTML docs (GH-32038)

bpo-44336: Prevent tests hanging on child process handles on Windows (GH-26578)

Replace the child process `typeperf.exe` with a daemon thread that reads the performance counters directly.  This prevents the issues that arise from inherited handles in grandchild processes (see issue37531 for discussion).

We only use the load tracker when running tests in multiprocess mode. This prevents inadvertent interactions with tests expecting a single threaded environment.  Displaying load is really only helpful for buildbots running in multiprocess mode anyway.

bpo-47061: document module deprecations due to PEP 594 (GH-31984)

Also removed asynchat, asyncore, and smtpd from their respective toctree entries so they are only  in the superceded subtree.

Fix typo in pycore_bytesobject.h (GH-31914)

bpo-12029: [doc] clarify that except does not match virtual subclasses of the specified exception type (GH-32027)

bpo-47067: Optimize calling GenericAlias objects (GH-31996)

Use vectorcall, and replace `PyObject_SetAttrString` with `PyObject_SetAttr` and a global string.

bpo-47080: Use atomic groups to simplify fnmatch (GH-32029)

Use re's new atomic groups to greatly simplify the construction of worst-case linear-time patterns.

bpo-433030: Add support of atomic grouping in regular expressions (GH-31982)

* Atomic grouping: (?>...).
* Possessive quantifiers: x++, x*+, x?+, x{m,n}+.
  Equivalent to (?>x+), (?>x*), (?>x?), (?>x{m,n}).

Co-authored-by: Jeffrey C. Jacobs <timehorse@users.sourceforge.net>

bpo-46841: Quicken code in-place (GH-31888)

* Moves the bytecode to the end of the corresponding PyCodeObject, and quickens it in-place.

* Removes the almost-always-unused co_varnames, co_freevars, and co_cellvars member caches

* _PyOpcode_Deopt is a new mapping from all opcodes to their un-quickened forms.

* _PyOpcode_InlineCacheEntries is renamed to _PyOpcode_Caches

* _Py_IncrementCountAndMaybeQuicken is renamed to _PyCode_Warmup

* _Py_Quicken is renamed to _PyCode_Quicken

* _co_quickened is renamed to _co_code_adaptive (and is now a read-only memoryview).

* Do not emit unused nonzero opargs anymore in the compiler.

bpo-23691: Protect the re.finditer() iterator from re-entering (GH-32012)

bpo-46850: Remove _PyEval_CallTracing() function (GH-32019)

Remove the private undocumented function _PyEval_CallTracing() from
the C API. Call the public sys.call_tracing() function instead.

bpo-46850: Remove _PyEval_GetCoroutineOriginTrackingDepth() (GH-32018)

Remove the private undocumented function
_PyEval_GetCoroutineOriginTrackingDepth() from the C API. Call the
public sys.get_coroutine_origin_tracking_depth() function instead.

Change the internal function
_PyEval_SetCoroutineOriginTrackingDepth():

* Remove the 'tstate' parameter;
* Add return value and raises an exception if depth is negative;
* No longer export the function: call the public
  sys.set_coroutine_origin_tracking_depth() function instead.

Uniformize also function declarations in pycore_ceval.h.

bpo-46850: Remove _PyEval_SetAsyncGenFinalizer() (GH-32017)

Remove the following private undocumented functions from the C API:

* _PyEval_GetAsyncGenFirstiter()
* _PyEval_GetAsyncGenFinalizer()
* _PyEval_SetAsyncGenFirstiter()
* _PyEval_SetAsyncGenFinalizer()

Call the public sys.get_asyncgen_hooks() and sys.set_asyncgen_hooks()
functions instead.

bpo-38256: Fix binascii.crc32() when inputs are 4+GiB (GH-32000)

When compiled with `USE_ZLIB_CRC32` defined (`configure` sets this on POSIX systems), `binascii.crc32(...)` failed to compute the correct value when the input data was >= 4GiB. Because the zlib crc32 API is limited to a 32-bit length.

This lines it up with the `zlib.crc32(...)` implementation that doesn't have that flaw.

**Performance:** This also adopts the same GIL releasing for larger inputs logic that `zlib.crc32` has, and causes the Windows build to always use zlib's crc32 instead of our slow C code as zlib is a required build dependency on Windows.

bpo-47015: Update test_os from asyncore to asyncio (GH-31876)

bpo-42369: Fix thread safety of zipfile._SharedFile.tell (GH-26974)

The `_SharedFile` tracks its own virtual position into the file as
`self._pos` and updates it after reading or seeking. `tell()` should
return this position instead of calling into the underlying file object,
since if multiple `_SharedFile` instances are being used concurrently on
the same file, another one may have moved the real file position.
Additionally, calling into the underlying `tell` may expose thread
safety issues in the underlying file object because it was called
without taking the lock.

bpo-46013: Fix confusing kerning on period in docs (GH-29989)

bpo-47040: improve document of checksum functions (gh-31955)

Clarifies a versionchanged note on crc32 & adler32 docs that the workaround is only needed for Python 2 and earlier.
Also cleans up an unnecessary intermediate variable in the implementation.

Authored-By: Ma Lin / animalize
Co-authored-by: Gregory P. Smith <greg@krypto.org>

bpo-46382 dataclass(slots=True) now takes inherited slots into account (GH-31980)

Do not include any members in __slots__ that are already in a base class's __slots__.

bpo-46996: IDLE: Drop workarounds for old Tk versions (GH-31962)

bpo-47066: Convert a warning about flags not at the start of the regular expression into error (GH-31994)

bpo-44544: add textwrap placeholder arg (GH-27671)

bpo-39394: Improve warning message in the re module (GH-31988)

A warning about inline flags not at the start of the regular
expression now contains the position of the flag.

bpo-47057: Use FASTCALL convention for FutureIter.throw() (GH-31973)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-47022: Document asynchat, asyncore and smtpd removals in 3.12 (GH-31891)

Document the deprecation of asyncore, asynchat, and smtpd with a slated removal in Python 3.12 thanks to PEP 594.

bpo-43224: Add TypeVarTuple.__name__ (GH-31954)

I noticed that TypeVar and ParamSpec put their name in a __name__
attribute, but TypeVarTuple doesn't. Let's be consistent.

bpo-47037: Test debug builds on Windows in CI so that native assertions are noticed sooner (GH-31965)

[doc] Some more make suspicious false positives. (GH-31977)

bpo-46968: Check for 'sys/auxv.h' in the configure script (GH-31961)

bpo-47037: Don't test for strftime('%4Y') on Windows (GH-31945)

bpo-45786: Remove _PyFrame_Fini() and _PyFrame_DebugMallocStats() (GH-31874)

Remove private empty _PyFrame_Fini() and _PyFrame_DebugMallocStats()
functions.

summarize_stats.py: add pairs by opcode (GH-31957)

bpo-45413: Define "posix_venv", "nt_venv" and "venv" sysconfig installation schemes (GH-31034)

Define *posix_venv* and *nt_venv* sysconfig installation schemes
to be used for bootstrapping new virtual environments.
Add *venv* sysconfig installation scheme to get the appropriate one of the above.
The schemes are identical to the pre-existing
*posix_prefix* and *nt* install schemes.
The venv module now uses the *venv* scheme to create new virtual environments
instead of hardcoding the paths depending only on the platform. Downstream
Python distributors customizing the *posix_prefix* or *nt* install
scheme in a way that is not compatible with the install scheme used in
virtual environments are encouraged not to customize the *venv* schemes.
When Python itself runs in a virtual environment,
sysconfig.get_default_scheme and
sysconfig.get_preferred_scheme with `key="prefix"` returns
*venv*.

bpo-40296: Fix supporting generic aliases in pydoc (GH-30253)

bpo-46421: Fix unittest filename evaluation when called as a module (GH-30654)

bpo-47005: Improve performance of bytearray_repeat and bytearray_irepeat (GH-31856)

bpo-34790: Remove passing coroutine objects to asyncio.wait() (GH-31964)

Co-authored-by: Yury Selivanov <yury@edgedb.com>

bpo-46030: socket module add couple of FreeBSD constants. (GH-30018)

Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

Fix whitespace error in setup.py (GH-31960)

bpo-47042: Fix testing the HTML output in test_pydoc (GH-31959)

Previously it tested that that the actual output contains every non-whitespace
character from the expected output (ignoring order and repetitions).

Now it will test that the actual output contains the same lines as the expected
output, in the same order, ignoring indentation and empty lines.

Use low bit of LOAD_GLOBAL's oparg to indicate whether it should push an additional NULL. (GH-31933)

bpo-40280: Skip more tests on Emscripten (GH-31947)

- lchmod, lchown are not fully implemented
- skip umask tests
- cannot fstat unlinked or renamed files yet
- ignore musl libc issues that affect Emscripten

bpo-46996: Remove support of Tcl/Tk < 8.5.12 (GH-31839)

Do not run test_gdb when gdb embeds Python 2. (GH-31956)

bpo-46981: Remove typing._TypingEmpty (GH-31836)

* get_args(Tuple[()]) now returns () instead of ((),).
* Tuple[Unpack[Ts]][()] now returns the result equal to Tuple[()].

bpo-44859: Raise more accurate exceptions in `sqlite3` (GH-27695)

* Improve exception compliance with PEP 249
* Raise InterfaceError instead of ProgrammingError for SQLITE_MISUSE.
  If SQLITE_MISUSE is raised, it is a sqlite3 module bug. Users of the
  sqlite3 module are not responsible for using the SQLite C API correctly.
* Don't overwrite BufferError with ValueError when conversion to BLOB fails.
* Raise ProgrammingError instead of Warning if user tries to execute() more
  than one SQL statement.
* Raise ProgrammingError instead of ValueError if an SQL query contains null characters.
* Make sure `_pysqlite_set_result` raises an exception if it returns -1.

bpo-46480: add typing.assert_type (GH-30843)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: David Foster <david@dafoster.net>