Two minor fixes for accessing a module's name. (#25658)

While working on another issue, I noticed two minor nits in the C implementation of the module object.  Both are related to getting a module's name.

First, the C function module_dir() (module.__dir__) starts by ensuring the module dict is valid.  If the module dict is invalid, it wants to format an exception using the name of the module, which it gets from PyModule_GetName().  However, PyModule_GetName() gets the name of the module from the dict.  So getting the name in this circumstance will never succeed.

When module_dir() wants to format the error but can't get the name, it knows that PyModule_GetName() must have already raised an exception.  So it leaves that exception alone and returns an error.  The end result is that the exception raised here is kind of useless and misleading: dir(module) on a module with no __dict__ raises SystemError("nameless module").  I changed the code to actually raise the exception it wanted to raise, just without a real module name: TypeError("<module>.__dict__ is not a dictionary").  This seems more useful, and would do a better job putting the programmer who encountered this on the right track of figuring out what was going on.

Second, the C API function PyModule_GetNameObject() checks to see if the module has a dict.  If m->md_dict is not NULL, it calls _PyDict_GetItemIdWithError().  However, it's possible for m->md_dict to be None.  And if you call _PyDict_GetItemIdWithError(Py_None, ...) it will *crash*.

Unfortunately, this crash was due to my own bug in the other branch.  Fixing my code made the crash go away.  I assert that this is still possible at the API level.

The fix is easy: add a PyDict_Check() to PyModule_GetNameObject().

Unfortunately, I don't know how to add a unit test for this.  Having changed module_dir() above, I can't find any other interfaces callable from Python that eventually call PyModule_GetNameObject().  So I don't know how to trick the runtime into reproducing this error.

Since both these changes are minor--each entails only a small edit to only one line--I didn't bother with a news item.

bpo-43901: Lazy-create an empty annotations dict in all unannotated user classes and modules (#25623)

Change class and module objects to lazy-create empty annotations dicts on demand.  The annotations dicts are stored in the object's `__dict__` for backwards compatibility.

bpo-43892: Validate the first term of complex literal value patterns (GH-25735)

bpo-42800: Rename AUDIT_READ to PY_AUDIT_READ (GH-25736)

bpo-42800: add audit hooks for f_code and tb_frame (GH-24182)

Accessing the following attributes will now fire PEP 578 style audit hooks as ("object.__getattr__", obj, name):
* PyTracebackObject: tb_frame
* PyFrameObject: f_code
* PyGenObject: gi_code, gi_frame
* PyCoroObject: cr_code, cr_frame
* PyAsyncGenObject: ag_code, ag_frame
Add an AUDIT_READ attribute flag aliased to READ_RESTRICTED.
Update obsolete flag documentation.

bpo-43933: Show frame.f_lineno as None, rather than -1, if there is no line number. (GH-25717)

bpo-42589: Change URL for 'from' link when used in a raised exception (GH-23872)

Links for 'raise Exception from x' target to 'The raise statement' (7.8) section instead of 'The import statement' (7.11) section.

There are more modified links than in the bug report because I searched some other ones which can get the same improvement.

bpo-43882 - urllib.parse should sanitize urls containing ASCII newline and tabs. (GH-25595)

* issue43882 - urllib.parse should sanitize urls containing ASCII newline and tabs.

Co-authored-by: Gregory P. Smith <greg@krypto.org>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-28254: Add PyGC_ functions to the stable ABI manifest (GH-25720)

Co-authored-by: Senthil Kumaran <senthil@uthcode.com>
Co-authored-by: scoder <stefan_ml@behnel.de>

bpo-42739: Don't use sentinels to mark end of line table. (GH-25657)

* Add length parameter to PyLineTable_InitAddressRange and doen't use sentinel values at end of table. Makes the line number table more robust.

* Update PyCodeAddressRange to match PEP 626.

bpo-43651: Fix test_logging (GH-25715)

bpo-43774: Enhance debug build documentation (GH-25712)

* Add also references to --with-trace-refs option.
* Move _ob_next and _ob_prev at the end, since they don't exist by
  default and are related to debug.

bpo-37892: Use space indents in IDLE Shell (GH-25678)

Adding a newline to the prompt moves it out of the way of
user code input, which now starts at the left margin,
along with continuation lines.

bpo-43795: Generate python3dll.c and doc data from manifest (PEP 652) (GH-25315)

bpo-43774: Remove unused PYMALLOC_DEBUG macro (GH-25711)

Enhance also the documentation of debug hooks on memory allocators.

bpo-28254: Cleanup test_subprocess.test_preexec_gc_module_failure() (GH-25709)

Saving/restoring gc.disable and gc.isenabled is no longer needed.

bpo-43908: Document Static Types in the C API (GH-25710)

Update also PyTypeObject structure definition in the doc.

bpo-43908: Make array.array type immutable (GH-25696)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-43908: Make re types immutable (GH-25697)

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-43892: Make match patterns explicit in the AST (GH-25585)

Co-authored-by: Brandt Bucher <brandtbucher@gmail.com>

bpo-41139: Deprecate `cgi.log()` (GH-25625)

bpo-43651: Fix EncodingWarning in `os.fdopen()` and test_os (GH-25654)

bpo-43651: Fix EncodingWarning in tests. (GH-25655)

* test_httplib
* test_httpservers
* test_logging

bpo-24275: Don't downgrade unicode-only dicts to mixed on lookups (GH-25186)

[doc] Be more clear on super() regarding multiple base classes methods (GH-21789)

[doc] Do some polishing in IDEs section (GH-22070)

Document importlib.metadata.PackagePath.locate method (GH-25669)

bpo-43970: Optimize Path.cwd() in pathlib by not instantiating a class unnecessarily (GH-25699)

bpo-37903: IDLE: Shell sidebar with prompts (GH-22682)

The first followup will change shell indents to spaces.
More are expected.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

bpo-28254: _posixsubprocess uses PyGC_Enable/PyGC_Disable (GH-25693)

bpo-43908: Add Py_TPFLAGS_IMMUTABLETYPE flag (GH-25520)

Introduce Py_TPFLAGS_IMMUTABLETYPE flag for immutable type objects, and
modify PyType_Ready() to set it for static types.

Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-28254: Add a C-API for controlling the GC state (GH-25687)

Add new C-API functions to control the state of the garbage collector:
PyGC_Enable(), PyGC_Disable(), PyGC_IsEnabled(),
corresponding to the functions in the gc module.

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
Co-authored-by: Victor Stinner <vstinner@python.org>

bpo-43757: Make pathlib use os.path.realpath() to resolve symlinks in a path (GH-25264)

Also adds a new "strict" argument to realpath() to avoid changing the default behaviour of pathlib while sharing the implementation.

bpo-41559: Change PEP 612 implementation to pure Python (#25449)

bpo-43955: Handle the case where the distutils warning has already been triggered (GH-25675)

bpo-43959: clarify the documentation of the PyContextVar C-API (GH-25671)

Automerge-Triggered-By: GH:scoder

bpo-43961: Fix test_logging.test_namer_rotator_inheritance() (GH-25684)

Fix test_logging.test_namer_rotator_inheritance() on Windows: use
os.replace() rather than os.rename().

bpo-43962: Fix _PyInterpreterState_IDIncref() (GH-25683)

_PyInterpreterState_IDIncref() now calls
_PyInterpreterState_IDInitref() and always increments id_refcount.

bpo-43960: test_pdb resets breakpoints (GH-25673)

Reset global breakpoint state at the beginning of
test_pdb_next_command_in_generator_for_loop() to make it deterministic.

bpo-43776: Remove list call from args in Popen repr (GH-25338)

Removes the `list` call in the Popen `repr`.

Current implementation:

For cmd = `python --version`,  with `shell=True`.

```bash
<Popen: returncode: None args: ['p', 'y', 't', 'h', 'o', 'n', ' ', '-', '-',...>
```

For `shell=False` and args=`['python', '--version']`, the output is correct:

```bash
<Popen: returncode: None args: ['python', '--version']>
```

With the new changes the `repr`  yields:

For cmd = `python --version`,  with `shell=True`:

```bash
<Popen: returncode: None args: 'python --version'>
```

For `shell=False` and args=`['python', '--version']`, the output:

```bash
<Popen: returncode: None args: ['python', '--version']>
```

Automerge-Triggered-By: GH:gpshead

bpo-41486: Faster bz2/lzma/zlib via new output buffering (GH-21740)

Faster bz2/lzma/zlib via new output buffering.
Also adds .readall() function to _compression.DecompressReader class
to take best advantage of this in the consume-all-output at once scenario.

Often a 5-20% speedup in common scenarios due to less data copying.

Contributed by Ma Lin.

bpo-43963: Add _signal module state (GH-25676)

* Add signal_state_t structure and signal_global_state variable.
* Add a module state to the _signal module.
* Move and rename variables:

  * DefaultHandler becomes state->default_handler
  * IgnoreHandler becomes state->ignore_handler
  * sigint_event becomes state->sigint_event
  * ItimerError becomes modstate->itimer_error

* Rename SetHandler() to set_handler() to be consistent with
  get_handler().

bpo-37751: Update `codecs.register()` doc. (GH-25643)

bpo-43963: Fix import _signal in subinterpreters (GH-25674)

Importing the _signal module in a subinterpreter has no longer side
effects.

signal_module_exec() no longer modifies Handlers and no longer attempts
to set SIGINT signal handler in subinterpreters.

bpo-43957: [Enum] Deprecate ``TypeError`` from containment checks. (GH-25670)

In 3.12 ``True`` or ``False`` will be returned for all containment checks,
with ``True`` being returned if the value is either a member of that enum
or one of its members' value.

bpo-8978: improve tarfile.open error message when lzma / bz2 are missing (GH-24850)

Automerge-Triggered-By: GH:pablogsal

Fix generated file name for installer builds on macOS 11+. (GH-25661)

bpo-43492: Update macOS installer to use SQLite 3.35.5 (GH-25640)

bpo-43492: Upgrade Windows installer to use SQLite 3.35.5 (GH-25641)

bpo-43864: Silence deprecation warning in test_importlib.test_module_found and test_importlib.test_module_not_found (GH-25656)

bpo-43766: Fix TypeGuard docs (#25660)

bpo-43766: Implement PEP 647 (User-Defined Type Guards) in typing.py (#25282)

bpo-43312: Functions returning default and preferred sysconfig schemes (GH-24644)

Fix thread locks in zlib module may go wrong in rare case. (#22126)

Setting `next_in` before acquiring the thread lock may mix up compress/decompress state in other threads.

bpo-43651: Fix EncodingWarning in fileinput and its test (GH-25648)

bpo-43651: Fix EncodingWarning in zipfile (GH-25650)

bpo-43945: [Enum] Deprecate non-standard mixin format() behavior (GH-25649)

In 3.12 the enum member, not the member's value, will be used for
format() calls.  Format specifiers can be used to retain the current
display of enum members:

Example enumeration:

    class Color(IntEnum):
        RED = 1
        GREEN = 2
        BLUE = 3

Current behavior:

    f'{Color.RED}'  -->  '1'

Future behavior:

    f'{Color.RED}'  --> 'RED'

Using d specifier:

    f'{Color.RED:d}'  --> '1'

Using specifiers can be done now and is future-compatible.

bpo-43651: PEP 597: Fix `socket.makefile()` (GH-25645)

[doc] Remove duplicated operator.itemgetter example (GH-24178)

* Remove duplicated itemgetter example
* Add spaces

bpo-43651: Fix EncodingWarning in `pydoc`. (GH-25644)

bpo-38530: Require 50% similarity in NameError and AttributeError suggestions (GH-25584)

bpo-43762: Add audit events for loading of sqlite3 extensions (GH-25246)

Use the zero argument form of super() in examples for Python3 docs. (GH-22314)

bpo-40432: Use python 3.8 or higher to compile CPython on Windows (#25389)

bpo-43938: improve dataclasses.FrozenInstanceError documentation (GH-25603)

bpo-42904: Change search order of typing.get_type_hints eval (#25632)

While surprising (searching globals before locals in one specific case), this is needed for backwards compatibility.

Add additional keyword-only tests. (GH-25633)

Doc: Fix the array.fromfile method doc (GH-22037)

The check about the f argument type was removed in this commit:
https://github.com/python/cpython/commit/2c94aa567e525c82041ad68a3174d8c3acbf37e2

Thanks for Pedro Arthur Duarte (pedroarthur.jedi at gmail.com) by the help with
this bug.

bpo-43466: Link with libz in PY_UNSUPPORTED_OPENSSL_BUILD path (GH-25587)

Some OpenSSL build flavors need libz for compression support.

bpo-18233: Add internal methods to access peer chain (GH-25467)

The internal `_ssl._SSLSocket` object now provides methods to retrieve
the peer cert chain and verified cert chain as a list of Certificate
objects. Certificate objects have methods to convert the cert to a dict,
PEM, or DER (ASN.1).

These are private APIs for now. There is a slim chance to stabilize the
approach and provide a public API for 3.10. Otherwise I'll provide a
stable API in 3.11.

Signed-off-by: Christian Heimes <christian@python.org>

bpo-38820: Old OpenSSL 3.0.0 releases are in /old/3.0/ (GH-25624)

Signed-off-by: Christian Heimes <christian@python.org>

Update asyncio-subprocess.rst (GH-21680)

documentation: clarification about the function remove in os library (GH-19024)

Fix documentation typos of argparse exit_on_error (GH-22706)

Quick pydoc update to smtplib.py (GH-22292)

Fixing minor mistake in the quotes around a couple of arguments for the constructor of the class `SMTP`, in smtplib.py.

Fix id of 'Internet Message Format' RFC in email doc (GH-24137)

Previous ID (5233) refers to "Sieve Email Filtering: Subaddress
Extension". It seems that the actual reference should be "Internet
Message Format" RFC 5322 (https://tools.ietf.org/html/rfc5322).

(The typo probably comes from commit 29d1bc0842 in which the ID of
this RFC got updated from the obsolete 2822.)

Co-authored-by: Ambrose Chua <ambrose@hey.com>

Fix copy.Error casing in documentation GH-22004

Fix broken links and improve stand-alone tools list in FAQ GH-22124

Add keyword-only fields to dataclasses. (GH=25608)

Remove mention of dst parameter from description of os.lstat() (GH-24704)

It looks like it was accidentally copy-pasted in
6fa7aada9bd3616e0beeb266e818497b2ec1c859.

Fix a typo in datamodel reference document (GH-24930)

bpo-38605: Update __future__ module doc as `annotations` is now "mandatory in 3.11" (GH-25602)

fix typo in warning (#20620)

* Add space after period to warning in _tzpath.py

Currently:
InvalidTZPathWarning: Invalid paths specified in PYTHONTZPATH environment variable.Paths should be absolute but found the following relative paths: ...

* Update _tzpath.py

BaseHTTPRequestHandler, that path includes query (#25597)

* Clarify, for BaseHTTPRequestHandler, that path includes query

Co-authored-by: David Jones <drj@pobox.com>

Set the release for `__future__.annotations` to 3.11 (#25596)

bpo-43534: Fix the turtle module working with multiple root windows (GH-25591)

bpo-38490: statistics: Add covariance, Pearson's correlation, and simple linear regression (#16813)

Co-authored-by: Tymoteusz Wołodźko <twolodzko+gitkraken@gmail.com

bpo-39529: Deprecate creating new event loop in asyncio.get_event_loop() (GH-23554)

asyncio.get_event_loop() emits now a deprecation warning when it creates a new event loop.
In future releases it will became an alias of asyncio.get_running_loop().

bpo-42609: Check recursion depth in the AST validator and optimizer (GH-23744)

bpo-43534: Make dialogs in turtle.textinput() and turtle.numinput() transitient again (GH-24923)

bpo-43655: Tkinter and IDLE dialog windows are now recognized as dialogs by window managers on macOS and X Window (#25187)

bpo-42737: annotations with complex targets no longer causes any runtime effects (GH-23952)

bpo-43930: Update bundled pip to 21.1 and setuptools to 56.0.0 (GH-25576)

Update bundled pip to 21.1 and setuptools to 56.0.0

bpo-43780: Sync with importlib_metadata 3.10 (GH-25297)

* bpo-43780: Sync with importlib_metadata 3.10.

* Add blurb

* Apply changes from importlib_metadata 3.10.1.

bpo-43921: also accept EOF in post-handshake auth test (GH-25574)

bpo-41282: Consistent message and filter warning in setup.py (GH-25571)

Signed-off-by: Christian Heimes <christian@python.org>

bpo-37322: Fix ResourceWarning and exception handling in test (GH-25553)

Revert 73ea546, increase logging, and improve stability of test.

Handle all OSErrors in a single block. OSError also takes care of
SSLError and socket's connection errors.

Partly reverts commit fb7e750. The
threaded connection handler must not raise an unhandled exception.

bpo-31870: Fix test_get_server_certificate_timeout on Windows (GH-25570)

Some OS do not support millisecond granularity in select(). Use 100ms
timeout and a server callback with sleep to emulate a slow server.

bpo-31870: Add a timeout parameter to ssl.get_server_certificate() (GH-22270)

bpo-38659: [Enum] do not check '_inverted_' during simple test (GH-25566)

Depending on usage, it's possible for Flag members to have the _inverted_ attribute when they are testing, while the Flag being testing against will not have that attribute on its members -- so skip that comparison.