bpo-39416: Document some restrictions on the default string representations of numeric classes (GH-18111)

[bpo-39416](): Document string representations of the Numeric classes

This is a change to the specification of the Python language.

The idea here is to put sane minimal limits on the Python language's default
representations of its Numeric classes.  That way "Marty's Robotic Massage Parlor
and Python Interpreter" implementation of Python won't do anything too
crazy.

Some discussion in the email thread:
Subject: Documenting Python's float.__str__()
https://mail.python.org/archives/list/python-dev@python.org/thread/FV22TKT3S2Q3P7PNN6MCXI6IX3HRRNAL/

bpo-41747: Ensure all dataclass methods uses their parents' qualname (GH-22155)

* bpo-41747: Ensure all dataclass methods uses their parents' qualname

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Update tzdata to 2020.3 (GH-22856)

TBH I had forgotten that we pin this 😅, and it's been updated quite a few times since we added this.

Doc: Fix a typo/error in the docs for cached bytecode (GH-22445)

Doc: Do not suggest `s[::-1]` for reversed order (GH-22457)

Doc: Remove old Python version from future stmt (GH-21802)

Doc: Do not encourage using a base class name in a derived class (GH-22177)

bpo-41902: Micro optimization for range.index if step is 1 (GH-22479)

bpo-23706: Add newline parameter to pathlib.Path.write_text (GH-22420) (GH-22420)

* Add _newline_ parameter to `pathlib.Path.write_text()`
* Update documentation of `pathlib.Path.write_text()`
* Add test case for `pathlib.Path.write_text()` calls with _newline_ parameter passed

Automerge-Triggered-By: GH:methane

bpo-41902: Micro optimization for compute_item of range (GH-22492)

Update idlelib/help.html to current Sphinx output (GH-22833)

idle.rst is unchanged

bpo-41586: Attempt to make the pipesize tests more robust. (GH-22839)

Several buildbots are failing on these, likely due to an inability to
set the pipe size to the desired test value.

bpo-42010: [docs] Clarify subscription of types (GH-22822)

bpo-29981: Add examples and update index for set, dict, and generator comprehensions'(GH-20272)

Co-authored-by: Rémi Lapeyre <remi.lapeyre@henki.fr>

bpo-42041: Clarify how subprocess searches for the executable (GH-22715)

Clarify in the subprocess documentation how searching for the executable to run works, noting that ``sys.executable`` is the recommended way to find the current interpreter.

Minor tweaks to typing union objects doc (GH-22741)

Automerge-Triggered-By: @merwok

bpo-41192: Add documentation of undocumented audit events (GH-21308)

bpo-38144: Re-add accidentally removed audition for glob. (GH-22805)

bpo-38439: Update the Windows Store package's icons for IDLE. Artwork by Andrew Clover (GH-22817)

bpo-41192: Clarify the sys module's description of the auditing feature (GH-22768)

Co-authored-by: Éric Araujo <merwok@netwok.org>

bpo-39693: mention KeyError in tarfile extractfile documentation (GH-18639)

Co-authored-by: Andrey Darascheka <andrei.daraschenka@leverx.com>

bpo-38439: Add 256px IDLE icon to the .ico, drop gifs from it (GH-19648)

bpo-30612: Tweak Windows registry path syntax in the docs (GH-20281)

bpo-38324: Fix test__locale.py Windows failures (GH-20529)

Use wide-char _W_* fields of lconv structure on Windows
Remove "ps_AF" from test__locale.known_numerics on Windows

md5module: Fix doc strings variable names (GH-22722)

Doc: Add missing spaces after period for `posix_spawn` (GH-22730)

bpo-41491: plistlib: accept hexadecimal integer values in xml plist files (GH-22764)

bpo-42093: Add opcode cache for LOAD_ATTR (GH-22803)

bpo-4356: Add key function support to the bisect module (GH-20556)

bpo-38912: fix close before connect callback in test_asyncio SSL tests (GH-22691)

Reduces the rate at which the ENV CHANGED failure occurs in test_asyncio SSL tests (due to unclosed transport), but does not 100% resolve it.

bpo-41586: Add pipesize parameter to subprocess & F_GETPIPE_SZ and F_SETPIPE_SZ to fcntl. (GH-21921)

* Add F_SETPIPE_SZ and F_GETPIPE_SZ to fcntl module
* Add pipesize parameter for subprocess.Popen class

This will allow the user to control the size of the pipes.
On linux the default is 64K. When a pipe is full it blocks for writing.
When a pipe is empty it blocks for reading. On processes that are
very fast this can lead to a lot of wasted CPU cycles. On a typical
Linux system the max pipe size is 1024K which is much better.
For high performance-oriented libraries such as xopen it is nice to
be able to set the pipe size.

The workaround without this feature is to use my_popen_process.stdout.fileno() in
conjuction with fcntl and 1031 (value of F_SETPIPE_SZ) to acquire this behavior.

bpo-27321 Fix email.generator.py to not replace a non-existent header. (GH-18074)

This PR replaces #1977. The reason for the replacement is two-fold.

The fix itself is different is that if the CTE header doesn't exist in the original message, it is inserted. This is important because the new CTE could be quoted-printable whereas the original is implicit 8bit.

Also the tests are different. The test_nonascii_as_string_without_cte test in #1977 doesn't actually test the issue in that it passes without the fix. The test_nonascii_as_string_without_content_type_and_cte test is improved here, and even though it doesn't fail without the fix, it is included for completeness.

Automerge-Triggered-By: @warsaw

bpo-41845: Move PyObject_GenericGetDict() back into the limited API (GH22646)

It was moved out of the limited API in 7d95e4072169911b228c9e42367afb5f17fd3db0.
This change re-enables it from 3.10, to avoid generating invalid extension modules for earlier versions.

bpo-40901: Describe what "interface name" means on Windows (GH-20694)

bpo-41784: make PyUnicode_AsUTF8AndSize part of the limited API (GH-22252)

bpo-41217: Fix incorrect note in the asyncio.create_subprocess_shell() docs (GH-21360)

On Windows, the default asyncio event loop is ProactorEventLoop (as of 3.8).

bpo-16396: Allow wintypes to be imported on non-Windows systems. (GH-21394)

Co-authored-by: Christian Heimes <christian@python.org>

bpo-41292: Fixes dead link to cx_freeze from Windows FAQ (GH-21463)

Link to the msvcrt module from the Windows FAQ (#22268)

bpo-38320: Clarify that expectedFailure is satisfied by either failure or error of the test. (GH-22740)

bpo-42089: Sync with current cpython branch of importlib_metadata (GH-22775)

~~The only differences are in the test files.~~

Automerge-Triggered-By: @jaraco

bpo-42084: Language aware diff headers (GH-22776)

bpo-41471: Ignore invalid prefix lengths in system proxy settings on macOS (GH-22762)

bpo-42051: Reject XML entity declarations in plist files (#22760)

bpo-39107: Updated Tcl and Tk to 8.6.10 in Windows installer (GH-22405)

bpo-41192: Fix some broken anchors for audit event entries (#21310)

Correct name of bytecode in change note. (GH-22723)

bpo-19270: Fixed sched.scheduler.cancel to cancel correct event (GH-22729)

bpo-40484: Document compiler flags under AST module (GH-19885)

Co-authored-by: Pablo Galindo <Pablogsal@gmail.com>
Co-authored-by: Shantanu <hauntsaninja@users.noreply.github.com>

bpo-40492: Fix --outfile with relative path when the program changes it working dir (GH-19910)

bpo-28660: Make TextWrapper break long words on hyphens (GH-22721)

3.9 whatsnew: fix bpo issue for AST change (GH-22742)

bpo-20184: Convert termios to Argument Clinic. (GH-22693)

bpo-41966: Fix pickling pure datetime.time subclasses (GH-22731)

bpo-38252: Use 8-byte step to detect ASCII sequence in 64bit Windows build (GH-16334)

bpo-42065: Fix incorrectly formatted _codecs.charmap_decode error message (GH-19940)

[doc] Add mentions of PEP 613 (TypeAlias) to docs (GH-22733)

bpo-40341: Remove some "discouraged solutions" in Doc/faq/programming.rst (GH-22726)

closes bpo-42030: Remove legacy AIX dynload support (GH-22717)

Since c19c5a6, AIX builds have defaulted to using dynload_shlib over
dynload_aix when dlopen is available. This function has been available
since AIX 4.3, which went out of support in 2003, the same year the
previously referenced commit was made. It has been nearly 20 years
since a version of AIX has been supported which has not used
dynload_shlib so there's no reason to keep this legacy code around.

bpo-42011: Update documentation of logging.Filter.filter() (GH-22692)

bpo-41919, test_codecs: Move codecs.register calls to setUp() (GH-22513)

* Move the codecs' (un)register operation to testcases.
* Remove _codecs._forget_codec() and _PyCodec_Forget()

Document that `test.support.bytecode_helper` is new in 3.9 (GH-22618)

bpo-1635741: Add a global module state to unicodedata (GH-22712)

Prepare unicodedata to add a state per module: start with a global
"module" state, pass it to subfunctions which access &UCD_Type. This
change also prepares the conversion of the UCD_Type static type to a
heap type.

bpo-42021: Fix possible ref leaks during _sqlite3 module init (GH-22673)

Minor clarification (GH-22708)

bpo-41894: Fix UnicodeDecodeError while loading native module (GH-22466)

When running in a non-UTF-8 locale, if an error occurs while importing a
native Python module (say because a dependent share library is missing),
the error message string returned may contain non-ASCII code points
causing a UnicodeDecodeError.

PyUnicode_DecodeFSDefault is used for buffers which may contain
filesystem  paths. For consistency with os.strerror(),
PyUnicode_DecodeLocale is used for buffers which contain system error
messages. While the shortname parameter is always encoded in ASCII
according to PEP 489, it is left decoded using PyUnicode_FromString to
minimize the changes and since it should not affect the decoding (albeit
_potentially_ slower).

In dynload_hpux, since the error buffer contains a message generated
from a static ASCII string and the module filesystem path,
PyUnicode_DecodeFSDefault is used instead of PyUnicode_DecodeLocale as
is used elsewhere.

* bpo-41894: Fix bugs in dynload error msg handling

For both dynload_aix and dynload_hpux, properly handle the possibility
that decoding strings may return NULL and when such an error happens,
properly decrement any previously decoded strings and return early.

In addition, in dynload_aix, ensure that we pass the decoded string
*object* pathname_ob to PyErr_SetImportError instead of the original
pathname buffer.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-41984: GC track all user classes (GH-22701)

Update timings for the final release (GH-22697)

bpo-39337: encodings.normalize_encoding() now ignores non-ASCII characters (GH-22219)

bpo-41876: Overload __repr__ for tkinter Font objects (GH-22450)

closes bpo-42029: Remove dynload_dl (GH-22687)

All references to this dynamic loading method were removed in b9949db,
when support for this method was dropped, but the implementation code
was not dropped (seemingly in oversight).

bpo-41939: always enable test_site.test_license_exists_at_url (GH-22688)

Improve recipe readability (GH-22685)

bpo-40422: Move _Py_closerange to fileutils.c (GH-22680)

This API is relatively lightweight and organizationally, given that it's
used by multiple modules, it makes sense to move it to fileutils.

Requires making sure that _posixsubprocess is compiled with the appropriate
Py_BUIILD_CORE_BUILTIN macro.

Add recipe for a version of random() with a larger population (GH-22664)

bpo-41756: Export PyGen_Send and wrap it in if-defs (#22677)

bpo-41995: Fix null ptr deref in tracemalloc_copy_trace() (GH-22660)

Fix a null pointer dereference in tracemalloc_copy_trace()
of _tracemalloc.

bpo-40422: Move _Py_*_SUPPRESS_IPH bits into _Py_closerange (GH-22672)

This suppression is no longer needed in os_closerange_impl, as it just
invokes the internal _Py_closerange implementation. On the other hand,
consumers of _Py_closerange may not have any other reason to suppress
invalid parameter issues, so narrow the scope to here.

Fix typo in "Context manager types" section in typing.rst (GH-22676)

Fix typo in the "Context manager types" section in `typing.rst`.

Automerge-Triggered-By: @gvanrossum

bpo-42015: Reorder dereferencing calls in meth_dealloc, to make sure m_self is kept alive long enough (GH-22670)

Delete PyGen_Send (#22663)

[doc] Fix typo in the graphlib docs (GH-22661)

Automerge-Triggered-By: @pablogsal

[doc] Remove mention of async and await as soft keywords (GH-22144)

bpo-41739: Fix test_logging.test_race_between_set_target_and_flush() (GH-22655)

The test now waits until all threads complete to avoid leaking
running threads.

Also, use regular threads rather than daemon threads.

bpo-41971: Fix test failure in test.test_tools.test_c_analyzer when mutating global state (GH-22652)

bpo-40423: Optimization: use close_range(2) if available (GH-22651)

close_range(2) should be preferred at all times if it's available, otherwise we'll use closefrom(2) if available with a fallback to fdwalk(3) or plain old loop over fd range in order of most efficient to least.

[note that this version does check for ENOSYS, but currently ignores all other errors]

Automerge-Triggered-By: @pablogsal

bpo-40422: create a common _Py_closerange API (GH-19754)

Such an API can be used both for os.closerange and subprocess. For the latter, this yields potential improvement for platforms that have fdwalk but wouldn't have used it there. This will prove even more beneficial later for platforms that have close_range(2), as the new API will prefer that over all else if it's available.

The new API is structured to look more like close_range(2), closing from [start, end] rather than the [low, high) of os.closerange().

Automerge-Triggered-By: @gpshead

Fix .. code-block :: directives in decimal.rst (GH-22571)

Fix typo in listobject.h (GH-22588)

Fix typo (GH-22582)

/af/of/s

Automerge-Triggered-By: @Mariatta

bpo-41993: Fix possible issues in remove_module() (GH-22631)

* PyMapping_HasKey() is not safe because it silences all exceptions and can return incorrect result.
* Informative exceptions from PyMapping_DelItem() are overridden with RuntimeError and
  the original exception raised before calling remove_module() is lost.
* There is a race condition between PyMapping_HasKey() and PyMapping_DelItem().

bpo-42002: Clean up initialization of the sys module. (GH-22642)

Makes the code clearer and make errors handling more correct.

Fix typo in typing.rst (GH-22625)

bpo-38605: bump the magic number for 'annotations' future (#22630)

bpo-41991: Remove _PyObject_HasAttrId (GH-22629)

It can silence arbitrary exceptions.

bpo-42000: Cleanup the AST related C-code (GH-22641)

- Use the proper asdl sequence when creating empty arguments
- Remove reduntant casts (thanks to new typed asdl_sequences)
- Remove MarshalPrototypeVisitor and some utilities from asdl generator
- Fix the header of `Python/ast.c` (kept from pgen times)

Automerge-Triggered-By: @pablogsal

bpo-41986: Add Py_FileSystemDefaultEncodeErrors and Py_UTF8Mode back to limited API (GH-22621)

Fix incorrect parameter name (GH-22613)

Automerge-Triggered-By: @Mariatta

bpo-41756: Add PyIter_Send function (#22443)

bpo-41985: Add _PyLong_FileDescriptor_Converter and AC converter for "fildes". (GH-22620)