bpo-44530: Add co_qualname field to PyCodeObject (GH-26941)

Doc: Fix link in multiprocessing.starmap pointing to builtin map. (GH-26560)

bpo-44490: Add __parameters__ and __getitem__ to types.Union (GH-26980)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>
Co-authored-by: Guido van Rossum <gvanrossum@gmail.com>

bpo-38291: Fix a spurious warning when using help(object) (#27039)

help(object) via pydoc.TextDoc.docclass(object) iterates over the
subclasses of object, which includes typing.io and typing.re if typing
is imported. It tries to access cls.__module__ for each of those
sub-classes. This change suppresses warnings when accessing
cls.__module__.

bpo-44563: Fix error handling in tee.fromiterable() (GH-27020)

In debug build failed tee.fromiterable() corrupted the linked list of all GC objects.

bpo-43453: Update and re-add example to typing runtime_checkable (#27013)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-44479: Regenerate test_frozenmain.h and frozen_hello.h during build on Windows (GH-26984)

bpo-44022: Fix Sphinx role in NEWS entry (GH-27033)

bpo-44562: Use PyType_GenericAlloc in Py_GenericAlias (GH-27021)

* bpo-44562: Use PyType_GenericAlloc in Py_GenericAlias

* Update Objects/genericaliasobject.c

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-44558: Make the implementation consistency of operator.indexOf (GH-27012)

bpo-44534: fix wording and docstring sync in unittest.Mock GH27000

bpo-41486: zlib uses an UINT32_MAX sliding window for the output buffer (GH-26143)

* zlib uses an UINT32_MAX sliding window for the output buffer

These funtions have an initial output buffer size parameter:
- zlib.decompress(data, /, wbits=MAX_WBITS, bufsize=DEF_BUF_SIZE)
- zlib.Decompress.flush([length])

If the initial size > UINT32_MAX, use an UINT32_MAX sliding window, instead of clamping to UINT32_MAX.
Speed up when (the initial size == the actual size).

This fixes a memory consumption and copying performance regression in earlier 3.10 beta releases if someone used an output buffer larger than 4GiB with zlib.decompress.

Reviewed-by: Gregory P. Smith

bpo-43950: Print columns in tracebacks (PEP 657) (GH-26958)

The traceback.c and traceback.py mechanisms now utilize the newly added code.co_positions and PyCode_Addr2Location
to print carets on the specific expressions involved in a traceback.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
Co-authored-by: Ammar Askar <ammar@ammaraskar.com>
Co-authored-by: Batuhan Taskaya <batuhanosmantaskaya@gmail.com>

bpo-43950: include position in dis.Instruction (GH-27015)

Automerge-Triggered-By: GH:isidentical

bpo-43950: use 0-indexed column offsets for bytecode positions (GH-27011)

bpo-44562: Remove invalid PyObject_GC_Del from error path of types.GenericAlias … (GH-27016)

bpo-44553: Correct failure in tp_new for the union object (GH-27008)

bpo-34266: [pdb] handle ValueError from shlex.split() (GH-26656)

bpo-44129: Add descriptive global variables for general purpose bit flags (GH-26118)

Replace hex flag masks with named global variables to improve
readability.

eg.
    if flags & 0x800
becomes:
    if flags & _MASK_UTF_FILENAME

Fix  a small typo in the docs (GH-26991)

bpo-44553 : Implement GC methods for types.Union (GH-26993)

bpo-42238: rstlint: Add two new checks. (GH-26966)

bpo-44388: Update venv EnvBuilder.ensure_directories() docs. (GH-26663)

Ref:

This changes the documentation for `EnvBuilder.ensure_directories(env_dir)` to match the actual behavior of that API call.

In particular, `ensure_directories()` is not affected by the state of the `upgrade` attribute, and will not cause an error to have existing directories whether or not the `clear` attribute is set.

This documentation change I believe should be valid to all python versions back to 3.6.

Automerge-Triggered-By: GH:vsajip

bpo-43950: optimize column table assembling with pre-sizing object (GH-26997)

The new resizing system works like this;
```
$ cat t.py
a + a + a + b + c + a + a + a + b + c + a + a + a + b + c + a + a + a + b + c
[repeated 99 more times]
$ ./python t.py
RESIZE: prev len = 32, new len = 66
FINAL SIZE: 56
-----------------------------------------------------
RESIZE: prev len = 32, new len = 66
RESIZE: prev len = 66, new len = 134
RESIZE: prev len = 134, new len = 270
RESIZE: prev len = 270, new len = 542
RESIZE: prev len = 542, new len = 1086
RESIZE: prev len = 1086, new len = 2174
RESIZE: prev len = 2174, new len = 4350
RESIZE: prev len = 4350, new len = 8702
FINAL SIZE: 8004
```

So now we do considerably lower number of `_PyBytes_Resize` calls.

Automerge-Triggered-By: GH:isidentical

bpo-30256: [doc] Fix formatting error in news (GH-26994)

bpo-43950: Add code.co_positions (PEP 657) (GH-26955)

This PR is part of PEP 657 and augments the compiler to emit ending
line numbers as well as starting and ending columns from the AST
into compiled code objects. This allows bytecodes to be correlated
to the exact source code ranges that generated them.

This information is made available through the following public APIs:

* The `co_positions` method on code objects.
* The C API function `PyCode_Addr2Location`.

Co-authored-by: Batuhan Taskaya <isidentical@gmail.com>
Co-authored-by: Ammar Askar <ammar@ammaraskar.com>

bpo-34798: [doc] clearer presentation of pprint.PrettyPrinter constru… (GH-26967)

bpo-30256: Add manager_owned keyword arg to AutoProxy (GH-16341)

Co-authored-by: Jordan Speicher <jordan@jspeicher.com>

bpo-43425: Update setup.py not to use distutils.log (GH-26969)

bpo-44313: bump up magic (#26983)

bpo-43234: Prohibit non-ThreadPoolExecutor in loop.set_default_executor (GH-24540)

bpo-43216: Remove @asyncio.coroutine (GH-26369)

Remove the @asyncio.coroutine decorator
enabling legacy generator-based coroutines to be compatible with async/await
code; remove asyncio.coroutines.CoroWrapper used for wrapping
legacy coroutine objects in the debug mode.

The decorator has been deprecated
since Python 3.8 and the removal was initially scheduled for Python 3.10.

Add file describing how to add or modify specialized families of instructions. (GH-26954)

bpo-43770: Cleanup _PyObject_GetMethod() (GH-26946)

_PyObject_GetMethod() now uses _PyType_IsReady() to decide if
PyType_Ready() must be called or not, rather than testing if
tp->tp_dict is NULL.

Move also variable declarations closer to where they are used, and
use Py_NewRef().

bpo-43425: Update _osx_support not to use distutils.log (GH-26968)

bpo-44531: Add _PyType_AllocNoTrack() function (GH-26947)

Add an internal _PyType_AllocNoTrack() function to allocate an object
without tracking it in the GC.

Modify dict_new() to use _PyType_AllocNoTrack(): dict subclasses are
now only tracked once all PyDictObject members are initialized.
Calling _PyObject_GC_UNTRACK() is no longer needed for the dict type.

Similar change in tuple_subtype_new() for tuple subclasses.

Replace tuple_gc_track() with _PyObject_GC_TRACK().

bpo-44313: generate LOAD_ATTR/CALL_FUNCTION for top-level imported objects (GH-26677)

Fix compiler errors for unused variables in marshal.c (GH-26977)

bpo-44535: Enable building with Visual Studio 2022 on Windows (GH-26962)

bpo-41180: Fixes documentation to specify correct event name and add versionchanged (GH-26972)

bpo-41180: Replace marshal code.__new__ audit event with marshal.load[s] and marshal.dumps (GH-26961)

Doc: fix a rst tag. (GH-26965)

bpo-43232: Remove previously deprecated methods on TransportSocket (GH-24538)

bpo-44523: Remove the pass-through for hash() in weakref proxy objects (GH-26950)

bpo-38062: [doc] clarify that atexit uses equality comparisons internally. (GH-26935)

bpo-44531: Fix type_repr() if tp_name is NULL (GH-26948)

Allow to call type_repr() on a type which is not fully initialized
yet. This fix helps debugging crashes occurring early at Python
initialization.

Doc: Remove trailing whitespaces. (GH-26953)

bpo-42588: Update the docs for the TopologicalSorter.static_order() method (GH-26834)

bpo-44471: Change error type for bad objects in ExitStack.enter_context() (GH-26820)

A TypeError is now raised instead of an AttributeError in
ExitStack.enter_context() and AsyncExitStack.enter_async_context()
for objects which do not support the context manager or
asynchronous context manager protocols correspondingly.

bpo-12022: Change error type for bad objects in "with" and "async with" (GH-26809)

A TypeError is now raised instead of an AttributeError in
"with" and "async with" statements for objects which do not
support the context manager or asynchronous context manager
protocols correspondingly.

bpo-44434: Remove useless calls to PyThread_exit_thread() (GH-26943)

Remove useless calls to PyThread_exit_thread() in two unit tests of
_testcapi and _testembed modules.

Co-authored-by: Alexey Izbyshev <izbyshev@ispras.ru>

[doc] Fix typo in what's new in 3.10 (GH-26911)

The `try` statement was missing a colon and therefore was not exemplifying the correct `SyntaxError`.

bpo-44464: Remove special exclusion for flake8 in the deprecation warnings. (#26807)

Sync with importlib_metadata 4.6.

bpo-40620: Clarify tutorial controlflow.rst ``range`` examples (GH-26919)

Clarify the order of a stacked `abstractmethod` (GH-26892)

Co-authored-by: Tal Einat <532281+taleinat@users.noreply.github.com>

bpo-40528: fix is_simple(sum)s behavior for attributes (GH-26918)

This is something I noticed while (now discontinued) experimenting
with the idea of annotating operators with location information. Unfortunately
without this addition, adding any `attributes` to stuff like `unaryop`
doesn't change anything since the code assumes they are singletons and
caches all instances. This patch fixes this assumption with including
the attributes as well as constructor fields.

FIX rst issue in NEWS.d (GH-26923)

Add missing arg to DICT_MERGE opcode (GH-26859)

bpo-44110: Improve string's __getitem__ error message (GH-26042)

bpo-44468: Never skip base classes in `typing.get_type_hints()`, even with invalid `.__module__`. (GH-26862)

Update vendored pip to 21.1.3 (GH-26912)

bpo-43977: Properly update the tp_flags of existing subclasses when their parents are registered (GH-26864)

bpo-44498: suppress DeprecationWarnings for asynchat, asyncore and smtpd in tests (GH-26905)

bpo-44498: Issue a deprecation warning on asynchat, asyncore and smtpd import (#26882)

* Issue a deprecation warning on smtpd import

* Also issue DeprecationWarnings for asynchat and asyncore

* Fix some tests

* test___all__ requires the word 'module' or 'package' in the deprecation
  warning text, so add those to smtpd, asynchat, and asyncore.
* In test_support, use pprint now instead of asyncore as the landmark.

* Add What's New

* Use ..deprecated::

* Use ..deprecated::

* Update Lib/smtpd.py

Co-authored-by: Miro Hrončok <miro@hroncok.cz>
* Update Doc/library/smtpd.rst

Co-authored-by: Miro Hrončok <miro@hroncok.cz>
* Import async{hat,ore} after the DeprecationWarning for this module

Co-authored-by: Miro Hrončok <miro@hroncok.cz>

bpo-44321: Adds `os.EX_OK` for Windows (GH-26559)

bpo-44456: Improve the syntax error when mixing keyword and positional patterns (GH-26793)

bpo-44491: Allow clearing the sqlite3 authoriser callback (GH-26863)

Make sure that line number is set correctly for call to __exit__ when handling exception in body of a with statement. (GH-26890)

Fix typo in whatsnew 3.10.rst (GH-26854)

Thanks for the fix @wiggin15 .

bpo-40939: Remove documentation for `PyParser_*` & add porting notes (GH-26855)

I tried to be relatively thorough and give lots of links.
One reason is that this wasn't deprecated very long; also it seems people running into this tend to not be familiar with similar APIs.

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-40528: move asdl identifier collection to the new metadata system (GH-26858)

bpo-44229: Ignore spurious EPROTOTYPE on macOS in test_ssl (GH-26893)

bpo-43553: Improve `sqlite3` test coverage (GH-26886)

bpo-43988: Fix test.support.check_disallow_instantiation version added (GH-26889)

Automerge-Triggered-By: GH:vstinner

bpo-43693 Get rid of CO_NOFREE -- it's unused (GH-26839)

All uses of this flag are either setting it
or in doc or tests for it. So we should be
able to get rid of it completely.

bpo-42862: Strip stale sqlite3 cache ignores from c-analyzer (GH-26876)

bpo-39947: Remove old private trashcan C API functions (GH-26869)

Remove 4 C API private trashcan functions which were only kept for
the backward compatibility of the stable ABI with Python 3.8 and
older, since the trashcan API was not usable with the limited C API
on Python 3.8 and older. The trashcan API was excluded from the
limited C API in Python 3.9.

Removed functions:

* _PyTrash_deposit_object()
* _PyTrash_destroy_chain()
* _PyTrash_thread_deposit_object()
* _PyTrash_thread_destroy_chain()

The trashcan C API was never usable with the limited C API, since old
trashcan macros accessed directly PyThreadState members like
"_tstate->trash_delete_nesting", whereas the PyThreadState structure
is opaque in the limited C API.

Exclude also the PyTrash_UNWIND_LEVEL constant from the C API.

The trashcan C API was modified in Python 3.9 by commit
38965ec5411da60d312b59be281f3510d58e0cf1 and in Python 3.10 by commit
ed1a5a5baca8f61e9a99c5be3adc16b1801514fe to hide implementation
details.

bpo-43770:  Cleanup PyModuleDef_Init() (GH-26879)

PyModuleDef_Init() no longer tries to make PyModule_Type type: it's
already done by _PyTypes_Init() at Python startup. Replace
PyType_Ready() call with an assertion.

bpo-42064: Move `sqlite3` exceptions to global state, part 1 of 2 (GH-26745)

Also adds a test to verify the (borrowed) exceptions in `sqlite3.Connection`.

bpo-44441: _PyImport_Fini2() resets PyImport_Inittab (GH-26874)

Py_RunMain() now resets PyImport_Inittab to its initial value at
exit. It must be possible to call PyImport_AppendInittab() or
PyImport_ExtendInittab() at each Python initialization.

bpo-42064: Remove stale extern declarations in `sqlite3` headers (GH-26840)

bpo-44404: tkinter `after` support callable classes (GH-26812)

bpo-44482: Fix very unlikely resource leak in glob in non-CPython implementations (GH-26843)

bpo-28395: Remove unnecessary semicolons in tests (GH-26868)

bpo-44486: Make sure that modules always have a dictionary. (GH-26847)

* Make sure that modules always have a dictionary.

Fix typo in test_typing.py (GH-26853)

maximium -> maximum

bpo-43918: document signature and default argument of `anext` builtin (#25551)

Co-authored-by: Dennis Sweeney <36520290+sweeneyde@users.noreply.github.com>

[doc] Improve punctuation atexit doc

bpo-40528: Implement a metadata system for ASDL Generator (GH-20193)

ASDL Generator was lack of proper annotation related to generated
module. This patch implements a MetadataVisitor that produces a
metadata object to pass to other visitors that are visiting that
same module. For the inital patch, it dynamically retrieves int
sequences (like cmpop), that was previously hardcoded. It offers
an interface that is easy to extend.

bpo-41621: Document defaultdict's default_factory parameter (GH-21945)

It defaults to None and is positional only.

bpo-44483: Fix crash in union object with bad ``__module__`` (GH-26848)

bpo-44439: BZ2File.write() / LZMAFile.write() handle buffer protocol correctly (GH-26764)

No longer use len() to get the length of the input data. For some buffer protocol objects,
the length obtained by using len() is wrong.

bpo-44458: Ensure BUFFER_BLOCK_SIZE symbol is statically allocated. (GH-26808)

* bpo-44458: Ensure BUFFER_BLOCK_SIZE symbol is statically allocated.

bpo-44287: asyncio test_popen() uses longer timeout (GH-26832)

Fix asyncio test_popen() of test_windows_utils by using a longer
timeout. Use military grade battle-tested test.support.SHORT_TIMEOUT
timeout rather than a hardcoded timeout of 10 seconds: it's 30
seconds by default, but it is made longer on slow buildbots.

WaitForMultipleObjects() timeout argument is in milliseconds.

bpo-13814: Explain why generators are not context managers (GH-26835)

Put entry in Design FAQ after a question about a context manager for assignment.
Original patch by Aidan Lowe.

bpo-43693: Turn localspluskinds into an object (GH-26749)

Managing it as a bare pointer to malloc'ed bytes is just too awkward in a few places.

Reset DeprecationWarning filters in test_typing io and re (#26811)

bpo-44472: Fix ltrace functionality when exceptions are raised (GH-26822)

bpo-44395: Fix MIMEPart.as_string to pass unixfrom properly (GH-26685)

bpo-44434: Don't call PyThread_exit_thread() explicitly (GH-26758)

_thread.start_new_thread() no longer calls PyThread_exit_thread()
explicitly at the thread exit, the call was redundant.

On Linux with the glibc, pthread_cancel() loads dynamically the
libgcc_s.so.1 library. dlopen() can fail if there is no more
available file descriptor to open the file. In this case, the process
aborts with the error message:

"libgcc_s.so.1 must be installed for pthread_cancel to work"

pthread_cancel() unwinds back to the thread's wrapping function that
calls the thread entry point.

The unwind function is dynamically loaded from the libgcc_s library
since it is tightly coupled to the C compiler (GCC). The unwinder
depends on DWARF, the compiler generates DWARF, so the unwinder
belongs to the compiler.

Thanks Florian Weimer and Carlos O'Donell for their help on
investigating this issue.