bpo-45997: Fix asyncio.Semaphore re-acquiring order (GH-31910)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-47076: Make asyncio.Queue stable on slow test boxes (GH-32040)

bpo-47045: Remove `f_state` field (GH-31963)

* Remove the f_state field from _PyInterpreterFrame

*  Make ownership of the frame explicit, replacing the is_generator field with an owner field.

bpo-47084: Clear Unicode cached representations on finalization (GH-32032)

bpo-46838: Syntax error improvements for function definitions (GH-31590)

bpo-40280: Skip socket, fork, subprocess tests on Emscripten (GH-31986)

- Add requires_fork and requires_subprocess to more tests
- Skip extension import tests if dlopen is not available
- Don't assume that _testcapi is a shared extension
- Skip a lot of socket tests that don't work on Emscripten
- Skip mmap tests, mmap emulation is incomplete
- venv does not work yet
- Cannot get libc from executable

The "entire" test suite is now passing on Emscripten with EMSDK from git head (91 suites are skipped).

bpo-28080: Add support for the fallback encoding in ZIP files (GH-32007)

* Add the metadata_encoding parameter in the zipfile.ZipFile constructor.
* Add the --metadata-encoding option in the zipfile CLI.

Co-authored-by: Stephen J. Turnbull <stephen@xemacs.org>

bpo-47081: Replace "qualifiers" with "quantifiers" in the re module documentation (GH-32028)

It is a more commonly used term.

bpo-45150: Add hashlib.file_digest() for efficient file hashing (GH-31930)

bpo-47086: Remove .chm from Windows installer and add HTML docs (GH-32038)

bpo-44336: Prevent tests hanging on child process handles on Windows (GH-26578)

Replace the child process `typeperf.exe` with a daemon thread that reads the performance counters directly.  This prevents the issues that arise from inherited handles in grandchild processes (see issue37531 for discussion).

We only use the load tracker when running tests in multiprocess mode. This prevents inadvertent interactions with tests expecting a single threaded environment.  Displaying load is really only helpful for buildbots running in multiprocess mode anyway.

bpo-47061: document module deprecations due to PEP 594 (GH-31984)

Also removed asynchat, asyncore, and smtpd from their respective toctree entries so they are only  in the superceded subtree.

Fix typo in pycore_bytesobject.h (GH-31914)

bpo-12029: [doc] clarify that except does not match virtual subclasses of the specified exception type (GH-32027)

bpo-47067: Optimize calling GenericAlias objects (GH-31996)

Use vectorcall, and replace `PyObject_SetAttrString` with `PyObject_SetAttr` and a global string.

bpo-47080: Use atomic groups to simplify fnmatch (GH-32029)

Use re's new atomic groups to greatly simplify the construction of worst-case linear-time patterns.

bpo-433030: Add support of atomic grouping in regular expressions (GH-31982)

* Atomic grouping: (?>...).
* Possessive quantifiers: x++, x*+, x?+, x{m,n}+.
  Equivalent to (?>x+), (?>x*), (?>x?), (?>x{m,n}).

Co-authored-by: Jeffrey C. Jacobs <timehorse@users.sourceforge.net>

bpo-46841: Quicken code in-place (GH-31888)

* Moves the bytecode to the end of the corresponding PyCodeObject, and quickens it in-place.

* Removes the almost-always-unused co_varnames, co_freevars, and co_cellvars member caches

* _PyOpcode_Deopt is a new mapping from all opcodes to their un-quickened forms.

* _PyOpcode_InlineCacheEntries is renamed to _PyOpcode_Caches

* _Py_IncrementCountAndMaybeQuicken is renamed to _PyCode_Warmup

* _Py_Quicken is renamed to _PyCode_Quicken

* _co_quickened is renamed to _co_code_adaptive (and is now a read-only memoryview).

* Do not emit unused nonzero opargs anymore in the compiler.

bpo-23691: Protect the re.finditer() iterator from re-entering (GH-32012)

bpo-46850: Remove _PyEval_CallTracing() function (GH-32019)

Remove the private undocumented function _PyEval_CallTracing() from
the C API. Call the public sys.call_tracing() function instead.

bpo-46850: Remove _PyEval_GetCoroutineOriginTrackingDepth() (GH-32018)

Remove the private undocumented function
_PyEval_GetCoroutineOriginTrackingDepth() from the C API. Call the
public sys.get_coroutine_origin_tracking_depth() function instead.

Change the internal function
_PyEval_SetCoroutineOriginTrackingDepth():

* Remove the 'tstate' parameter;
* Add return value and raises an exception if depth is negative;
* No longer export the function: call the public
  sys.set_coroutine_origin_tracking_depth() function instead.

Uniformize also function declarations in pycore_ceval.h.

bpo-46850: Remove _PyEval_SetAsyncGenFinalizer() (GH-32017)

Remove the following private undocumented functions from the C API:

* _PyEval_GetAsyncGenFirstiter()
* _PyEval_GetAsyncGenFinalizer()
* _PyEval_SetAsyncGenFirstiter()
* _PyEval_SetAsyncGenFinalizer()

Call the public sys.get_asyncgen_hooks() and sys.set_asyncgen_hooks()
functions instead.

bpo-38256: Fix binascii.crc32() when inputs are 4+GiB (GH-32000)

When compiled with `USE_ZLIB_CRC32` defined (`configure` sets this on POSIX systems), `binascii.crc32(...)` failed to compute the correct value when the input data was >= 4GiB. Because the zlib crc32 API is limited to a 32-bit length.

This lines it up with the `zlib.crc32(...)` implementation that doesn't have that flaw.

**Performance:** This also adopts the same GIL releasing for larger inputs logic that `zlib.crc32` has, and causes the Windows build to always use zlib's crc32 instead of our slow C code as zlib is a required build dependency on Windows.

bpo-47015: Update test_os from asyncore to asyncio (GH-31876)

bpo-42369: Fix thread safety of zipfile._SharedFile.tell (GH-26974)

The `_SharedFile` tracks its own virtual position into the file as
`self._pos` and updates it after reading or seeking. `tell()` should
return this position instead of calling into the underlying file object,
since if multiple `_SharedFile` instances are being used concurrently on
the same file, another one may have moved the real file position.
Additionally, calling into the underlying `tell` may expose thread
safety issues in the underlying file object because it was called
without taking the lock.

bpo-46013: Fix confusing kerning on period in docs (GH-29989)

bpo-47040: improve document of checksum functions (gh-31955)

Clarifies a versionchanged note on crc32 & adler32 docs that the workaround is only needed for Python 2 and earlier.
Also cleans up an unnecessary intermediate variable in the implementation.

Authored-By: Ma Lin / animalize
Co-authored-by: Gregory P. Smith <greg@krypto.org>

bpo-46382 dataclass(slots=True) now takes inherited slots into account (GH-31980)

Do not include any members in __slots__ that are already in a base class's __slots__.

bpo-46996: IDLE: Drop workarounds for old Tk versions (GH-31962)

bpo-47066: Convert a warning about flags not at the start of the regular expression into error (GH-31994)

bpo-44544: add textwrap placeholder arg (GH-27671)

bpo-39394: Improve warning message in the re module (GH-31988)

A warning about inline flags not at the start of the regular
expression now contains the position of the flag.

bpo-47057: Use FASTCALL convention for FutureIter.throw() (GH-31973)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>

bpo-47022: Document asynchat, asyncore and smtpd removals in 3.12 (GH-31891)

Document the deprecation of asyncore, asynchat, and smtpd with a slated removal in Python 3.12 thanks to PEP 594.

bpo-43224: Add TypeVarTuple.__name__ (GH-31954)

I noticed that TypeVar and ParamSpec put their name in a __name__
attribute, but TypeVarTuple doesn't. Let's be consistent.

bpo-47037: Test debug builds on Windows in CI so that native assertions are noticed sooner (GH-31965)

[doc] Some more make suspicious false positives. (GH-31977)

bpo-46968: Check for 'sys/auxv.h' in the configure script (GH-31961)

bpo-47037: Don't test for strftime('%4Y') on Windows (GH-31945)

bpo-45786: Remove _PyFrame_Fini() and _PyFrame_DebugMallocStats() (GH-31874)

Remove private empty _PyFrame_Fini() and _PyFrame_DebugMallocStats()
functions.

summarize_stats.py: add pairs by opcode (GH-31957)

bpo-45413: Define "posix_venv", "nt_venv" and "venv" sysconfig installation schemes (GH-31034)

Define *posix_venv* and *nt_venv* sysconfig installation schemes
to be used for bootstrapping new virtual environments.
Add *venv* sysconfig installation scheme to get the appropriate one of the above.
The schemes are identical to the pre-existing
*posix_prefix* and *nt* install schemes.
The venv module now uses the *venv* scheme to create new virtual environments
instead of hardcoding the paths depending only on the platform. Downstream
Python distributors customizing the *posix_prefix* or *nt* install
scheme in a way that is not compatible with the install scheme used in
virtual environments are encouraged not to customize the *venv* schemes.
When Python itself runs in a virtual environment,
sysconfig.get_default_scheme and
sysconfig.get_preferred_scheme with `key="prefix"` returns
*venv*.

bpo-40296: Fix supporting generic aliases in pydoc (GH-30253)

bpo-46421: Fix unittest filename evaluation when called as a module (GH-30654)

bpo-47005: Improve performance of bytearray_repeat and bytearray_irepeat (GH-31856)

bpo-34790: Remove passing coroutine objects to asyncio.wait() (GH-31964)

Co-authored-by: Yury Selivanov <yury@edgedb.com>

bpo-46030: socket module add couple of FreeBSD constants. (GH-30018)

Co-authored-by: Andrew Svetlov <andrew.svetlov@gmail.com>

Fix whitespace error in setup.py (GH-31960)

bpo-47042: Fix testing the HTML output in test_pydoc (GH-31959)

Previously it tested that that the actual output contains every non-whitespace
character from the expected output (ignoring order and repetitions).

Now it will test that the actual output contains the same lines as the expected
output, in the same order, ignoring indentation and empty lines.

Use low bit of LOAD_GLOBAL's oparg to indicate whether it should push an additional NULL. (GH-31933)

bpo-40280: Skip more tests on Emscripten (GH-31947)

- lchmod, lchown are not fully implemented
- skip umask tests
- cannot fstat unlinked or renamed files yet
- ignore musl libc issues that affect Emscripten

bpo-46996: Remove support of Tcl/Tk < 8.5.12 (GH-31839)

Do not run test_gdb when gdb embeds Python 2. (GH-31956)

bpo-46981: Remove typing._TypingEmpty (GH-31836)

* get_args(Tuple[()]) now returns () instead of ((),).
* Tuple[Unpack[Ts]][()] now returns the result equal to Tuple[()].

bpo-44859: Raise more accurate exceptions in `sqlite3` (GH-27695)

* Improve exception compliance with PEP 249
* Raise InterfaceError instead of ProgrammingError for SQLITE_MISUSE.
  If SQLITE_MISUSE is raised, it is a sqlite3 module bug. Users of the
  sqlite3 module are not responsible for using the SQLite C API correctly.
* Don't overwrite BufferError with ValueError when conversion to BLOB fails.
* Raise ProgrammingError instead of Warning if user tries to execute() more
  than one SQL statement.
* Raise ProgrammingError instead of ValueError if an SQL query contains null characters.
* Make sure `_pysqlite_set_result` raises an exception if it returns -1.

bpo-46480: add typing.assert_type (GH-30843)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: David Foster <david@dafoster.net>

bpo-22859: deprecate unittest.main.TestProgram.usageExit (GH-30293)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

bpo-47039: Normalize repr() of asyncio future and task objects (GH-31950)

bpo-47038: Increase a test timeout for slow CI machines (GH-31951)

bpo-47038: Rewrite missed asyncio.wait_for test to use IsolatedAnsyncioTestCase (GH-31946)

bpo-47038: Rewrite asyncio.wait_for test to use IsolatedAsyncioTestCase (GH-31942)

bpo-45979: Fix Tkinter tests with old Tk (>= 8.5.12) (GH-31938)

bpo-46769: Improve documentation for `typing.TypeVar` (GH-31712)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

Fix some Windows release build script issues (GH-31931)

* Fix the condition used when excluding ARM64 packages from publish
* Do not publish anything unless the traditional installer works
* Fix disabling of MSI build
* Add override conditions for publish steps
* Allow overriding the Nuget version number during build

Rewrite asyncio.Queue tests with IsolatedAsyncioTestCace (#31935)

bpo-47032: Ensure Windows install builds fail correctly with a non-zero exit code when part of the build fails (GH-31921)

bpo-46948: Fix launcher installer build failure due to first part of fix (GH-31920)

In Windows release builds, do not attempt to copy Tcl/Tk for ARM64 when it is not being published (GH-31918)

bpo-46841: Don't scan backwards in bytecode (GH-31901)

bpo-40280: Detect presence of time.tzset and thread_time clock (GH-31898)

bpo-47024: Update OpenSSL to 1.1.1n (GH-31895)

Co-authored-by: Zachary Ware <zachary.ware@gmail.com>

bpo-45923: Decouple suspension of tracing from tracing flag. (GH-31908)

bpo-46907: Update Windows installer to SQLite 3.38.1. (GH-31655)

bpo-40280: Skip wakeup_fd pipe tests on Emscripten (GH-31909)

bpo-46907: Update macOS installer to SQLite 3.38.1. (GH-31656)

bpo-43253: Don't call shutdown() for invalid socket handles (GH-31892)

bpo-46993: Speed up bytearray creation from list and tuple (GH-31834)

bpo-20392: Fix inconsistency with uppercase file extensions in mimetypes.guess_type (GH-30229)

 Drop accidentally added whitespaces in asyncio internals (GH-31900)

bpo-46587: Skip tests if strftime does not support glibc extension (GH-31873)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-46557: Log captured warnings without format string (GH-30975)

But Add missing newline to NEWS entry (GH-31893)

Tools/gdb: Drop code to support Python 2. (GH-31717)

bpo-43721: Fix docstrings for property.getter/setter/deleter (GH-31046)

Revert "bpo-46986: Upgrade bundled setuptools to 60.9.3 (GH-31820)" (GH-31879)

This reverts commit c99ac3c364ee21be72263791b71ee8b55f64de08
as it breaks test_bdb and test_distutils with installed Pythons.

bpo-30677: [doc] mention that os.mkdir() can raise FileNotFoundError (GH-31548)

git ignore Lib/site-packages (GH-31862)

bpo-31415: importtime was made by Inada Naoki (GH-31875)

bpo-46920: Remove code that has explainers why it was disabled (GH-31813)

 bpo-46920: Remove disabled debug code added decades ago and likely unnecessary (GH-31812)

bpo-46920: Remove code that has no explainer why it was disabled (GH-31814)

bpo-46906: Mention native endian in PyFloat_Pack8() doc (GH-31866)

bpo-40280: select: Use NULL for empty fdset (GH-31865)

wasm32-emscripten does not support exceptfds and requires NULL. Python
now passes NULL instead of a fdset pointer when the input list is empty.
This works fine on all platforms and might even be a tiny bit faster.

CI: Fix patchcheck (GH-31708)

bpo-46987: Remove _PySys_GetObjectId / _PySys_GetObjectId (GH-31835)

bpo-46994: Accept explicit contextvars.Context in asyncio create_task() API (GH-31837)

bpo-39829: Fix `__len__()` is called twice in list() constructor (GH-31816)

bpo-47003: Cleanup _overlapped module (GH-31848)

bpo-47004: Sync with importlib_metadata 4.11.3. (#31854)

bpo-46986: Upgrade bundled setuptools to 60.9.3 (GH-31820)