gh-95913: Edit, xref & sort 3.11 WhatsNew Removed section (#98584)

gh-95913 Add string section to Whatsnew with new Template methods (#98311)

gh-91524: Speed up the regular expression substitution (#91525)

Functions re.sub() and re.subn() and corresponding re.Pattern methods
are now 2-3 times faster for replacement strings containing group references.

Closes #91524

Primarily authored by serhiy-storchaka Serhiy Storchaka
Minor-cleanups-by: Gregory P. Smith [Google] <greg@krypto.org>

Update Mac installer messages to 3.12 alpha (GH-98575)

gh-98561: Fix a typo in typing (GH-98562)

no-issue: typo fix in c-api/tuple.rst (gh-98560)

gh-98456: Replace deprecated `set-output` with up-to-date version (gh-98457)

gh-95913: Edit & expand Optimizations in 3.11 WhatsNew (#98426)

gh-95913: Copyedit & xref FrameInfo in Whatsnew inspect section (#98304)

GH-98539: fix ref cycle in `_SSLProtocolTransport` after close  (#98540)

GH-98543: Fix `asyncio.TaskGroup`  to not keep reference to errors after raising ExceptionGroup  (#98544)

GH-98363: Slicing isn't necessary. A size reduction will suffice. (GH-98538)

Fix typo in news entry (#98361)

ouput -> output

[Enum docs]: fix order of arguments to isinstance() (#98542)

GH-98363: Use better accessor macro (#98535)

gh-51511: Note that codecs.open()'s encoding parameter affects automatic conversion to binary mode (#94370)

bpo-2716: add license for audioop module (#19972)

gh-98298: [Enum] document ReprEnum, global_enum, and show_flag_values (GH-98455)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

GH-98363:  Fix exception handling in batched() (GH-98523)

gh-95027: Fix regrtest stdout encoding on Windows (#98492)

On Windows, when the Python test suite is run with the -jN option,
the ANSI code page is now used as the encoding for the stdout
temporary file, rather than using UTF-8 which can lead to decoding
errors.

gh-91051: allow setting a callback hook on PyType_Modified (GH-97875)

gh-98172: [doc] mention that except* handles naked exceptions (GH-98496)

gh-97514: Don't use Linux abstract sockets for multiprocessing (#98501)

Linux abstract sockets are insecure as they lack any form of filesystem
permissions so their use allows anyone on the system to inject code into
the process.

This removes the default preference for abstract sockets in
multiprocessing introduced in Python 3.9+ via
https://github.com/python/cpython/pull/18866 while fixing
https://github.com/python/cpython/issues/84031.

Explicit use of an abstract socket by a user now generates a
RuntimeWarning.  If we choose to keep this warning, it should be
backported to the 3.7 and 3.8 branches.

gh-97912: Avoid quadratic behavior when adding LOAD_FAST_CHECK (GH-97952)

* The compiler analyzes the usage of the first 64 local variables all at once using bit masks.

* Local variables beyond the first 64 are only partially analyzed, achieving linear time.

gh-96035: Make urllib.parse.urlparse reject non-numeric ports (#98273)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-98461: Fix source location in comprehensions bytecode (GH-98464)

gh-98421: Clean Up PyObject_Print (GH-98422)

Work on test coverage for `PyObject_Print` made it clear that some lines can't get executed.
Simplify the function by excluding the checks for non-string types.
Also eliminate creating a temporary bytes object.

gh-98360: multiprocessing now spawns children on Windows with correct argv[0] in virtual environments (GH-98462)

CODEOWNERS: Become a typing code owner (#98480)

[doc] Improve logging cookbook example. (GH-98481)

Add more tkinter.Canvas tests (GH-98475)

It is a prerequisite for #94473. Add tests for the coords() method and
for creation of some Canvas items.

gh-95023: Added os.setns and os.unshare functions (#95046)

Added os.setns and os.unshare to easily switch between namespaces
on Linux.

Co-authored-by: Christian Heimes <christian@python.org>
Co-authored-by: CAM Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Victor Stinner <vstinner@python.org>

GH-98363: Presize the list for batched() (GH-98419)

gh-98374: Suppress ImportError for invalid query for help() command. (gh-98450)

typing tests: `_overload_dummy` raises `NotImplementedError`, not `RuntimeError` (#98351)

gh-98354: Add unicode check for 'name' attribute in _imp_create_builtin (GH-98412)

Fixes #98354

gh-98257: Make _PyEval_SetTrace() reentrant (#98258)

Make sys.setprofile() and sys.settrace() functions reentrant.  They
can no long fail with: RuntimeError("Cannot install a trace function
while another trace function is being installed").

Make _PyEval_SetTrace() and _PyEval_SetProfile() functions reentrant,
rather than detecting and rejecting reentrant calls. Only delete the
reference to function arguments once the new function is fully set,
when a reentrant call is safe. Call also _PySys_Audit() earlier.

gh-98414: py.exe launcher does not use defaults for -V:company/ option (GH-98460)

gh-98417: Store int_max_str_digits on the Interpreter State (GH-98418)

Doc: Remove title text from internal links (#98409)

Rely on the title of the linked internal page instead of putting the title. Sphinx will render with the title correctly, and this will reduce work for translators

[doc] Refresh the venv introduction documentation, and correct the statement about VIRTUAL_ENV (GH-98350)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

Docs: Bump sphinx-lint and fix unbalanced inline literal markup (#98441)

Bump sphinx-lint and fix unbalanced inline literal markup

gh-92886: Replace assertion statements in `handlers.BaseHandler` to support running with optimizations (`-O`) (GH-93231)

gh-92886: Fix tests that fail when running with optimizations (`-O`) in `_test_multiprocessing.py` (GH-93233)

gh-92886: Fix tests that fail when running with optimizations (`-O`) in `test_py_compile.py` (GH-93235)

gh-98398: Fix source locations for 'assert' bytecode (GH-98405)

gh-97928: Fix handling options starting with "-" in tkinter.Text.count() (GH-98436)

Previously they were silently ignored. Now they are errors.

gh-97928: Add tests for tkinter.Text.count() (GH-98269)

gh-95913: Edit zipfile Whatsnew section & add new APIs (#98314)

* Link ZipFile in What's New entry discussing it

* Add entry for new ZipFile.mkdir method

* Add entry for new zipfile.Path.stem/suffix/suffixes methods

* Add missing line breaks between zipfile bullet list items

gh-95913: Add WhatsNew section for new logging APIs (#98320)

* Add entry for new logging.getLevelNamesMapping function

* Add entry for SysLogHandler.createSocket to whatsnew

* Add missing line break between logging bullet list items

Fix markup indentation (GH-98424)

Fix markup

gh-95914: Add links to 3.11 WhatsNew Summary items (#98416)

Add links to Summary items to where readers can learn more

General improvements to the itertools docs (GH-98408)

gh-98390: Fix source locations of boolean sub-expressions (GH-98396)

gh-92886: Fixing tests that fail when running with optimizations (`-O`) in `test_sys_settrace.py` (GH-93234)

gh-98393: os module reject bytes-like, only accept bytes (#98394)

The os module and the PyUnicode_FSDecoder() function no longer accept
bytes-like paths, like bytearray and memoryview types: only the exact
bytes type is accepted for bytes strings.

gh-98331: Update bundled pip to 22.3 (#98332)

Doc: Found some remaining default roles. (GH-98392)

gh-98378: Add small format string example to strftime comments (GH-98379)

A small example of what a full date and time would look like would help a lot of developers who may not realize that they should investigate `time.h`'s `strftime`, run `man strftime`, or click through a series of docs on the python docs before they get to the actual [definition here](https://docs.python.org/3/library/datetime.html#strftime-and-strptime-format-codes) which still doesn't have an obvious copy-pastable example of "what the heck format does this thing actually expect?".

Automerge-Triggered-By: GH:rhettinger

Doc: missing underscore in hyperlink. (GH-98391)

gh-95913: Copyedit, xref and organize enum section (#98295)

* Whatsnew: Convert literals in enum section to actual x-references

* Whatsnew: Rewrite enum section for clear and consistant phrasing

* Whatsnew: Combine directly related enum items instead of seperating them

* gh-98250: Describe __str__/__format__ changes more clearly/accurately

* Tweak enum section language per feedback from Ethan

gh-95913: Prepare remaining Whatsnew sections for editing (#98342)

* Add line breaks & ref targets to Whatsnew to prepare for future changes

* Use standard heading underbar symbols for H4 sections

* Flatten Porting subsection; clarify scope of/link Python->CAPI sections

* Move C API pending deprecations to C API section, to match the others

Fix typos in comments (GH-98375)

GH-98363:  Add itertools.batched() (GH-98364)

Move random selection recipes from itertools.rst to random.rst (GH-98369)

gh-95913: Move subinterpreter exper removal to 3.11 WhatsNew (GH-98345)

Part of #95913
Forward port of #93306, which was a backport of #93185, to address #84694

This adds the What's New entry for the removal of the subinterpreter-related env variable, build-time flag, etc. As @ericsnowcurrently  was author of the original changes, I added him as a co-author to the commit.

This addition to the Python 3.11 What's New document were only made to the Python 3.11 branch during the backport process, and not added to the version in `main`. Forward-porting it ensures the docs retain these additions for the future, rather than being lost in a legacy Python versions, allows it to be be edited as part of #95913 , and avoids merge conflicts with routine back-ports of PRs touching it.

I've pulled in the addition exactly as-is with no modifications; any editing will be done in future PRs (and therefore can be reviewed and backported accordingly).

The one other such addition is forward-ported in #98344

gh-95914: Add What's New item describing PEP 670 changes (#98315)

Remove unused arrange_output_buffer function from zlibmodule.c. (GH-98358)

gh-98174: Handle EPROTOTYPE under macOS in test_sendfile_fallback_close_peer_in_the_middle_of_receiving (#98316)

Co-authored-by: Nikita Sobolev <mail@sobolevn.me>

GH-98327: Reduce scope of catch_warnings() in _make_subprocess_transport (#98333)

Alas, warnings.catch_warnings() has global scope, not thread scope, so this is still not perfect, but it reduces the time during which warnings are ignored. Better solution welcome.

gh-93691: Compiler's code-gen passes location around instead of holding it on the global compiler state (GH-98001)

gh-97669: Create Tools/build/ directory (#97963)

Create Tools/build/ directory. Move the following scripts from
Tools/scripts/ to Tools/build/:

* check_extension_modules.py
* deepfreeze.py
* freeze_modules.py
* generate_global_objects.py
* generate_levenshtein_examples.py
* generate_opcode_h.py
* generate_re_casefix.py
* generate_sre_constants.py
* generate_stdlib_module_names.py
* generate_token.py
* parse_html5_entities.py
* smelly.py
* stable_abi.py
* umarshal.py
* update_file.py
* verify_ensurepip_wheels.py

Update references to these scripts.

gh-95534: Improve gzip reading speed by 10% (#97664)

Change summary:
+ There is now a `gzip.READ_BUFFER_SIZE` constant that is 128KB. Other programs that read in 128KB chunks: pigz and cat. So this seems best practice among good programs. Also it is faster than 8 kb chunks.
+ a zlib._ZlibDecompressor was added. This is the _bz2.BZ2Decompressor ported to zlib. Since the zlib.Decompress object is better for in-memory decompression, the _ZlibDecompressor is hidden. It only makes sense in file decompression, and that is already implemented now in the gzip library. No need to bother the users with this.
+ The ZlibDecompressor uses the older Cpython arrange_output_buffer functions, as those are faster and more appropriate for the use case.
+ GzipFile.read has been optimized. There is no longer a `unconsumed_tail` member to write back to padded file. This is instead handled by the ZlibDecompressor itself, which has an internal buffer. `_add_read_data` has been inlined, as it was just two calls.

EDIT: While I am adding improvements anyway, I figured I could add another one-liner optimization now to the python -m gzip application. That read chunks in io.DEFAULT_BUFFER_SIZE previously, but has been updated now to use READ_BUFFER_SIZE chunks.

gh-95913: Forward-port int/str security change to 3.11 What's New in main (#98344)

Add int/str security change from issue gh-95778 PRs gh-96499 / gh-95800

Co-authored-by: Gregory P. Smith <greg@krypto.org> [Google]

GH-91415: Mention alphabetical sort ordering in the Sorting HOWTO (GH-98336)

gh-97930: Merge with importlib_resources 5.9 (GH-97929)

* Merge with importlib_resources 5.9

* Update changelog

gh-85525: Remove extra row in doc (#98337)

* remove extra row

* 📜🤖 Added by blurb_it.

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>

gh-85299: Add note warning about entry point guard for asyncio example (#93457)

gh-97527: IDLE - fix buggy macosx patch (#98313)

#97530 fixed IDLE tests possibly crashing on a Mac without a GUI.
But it resulted in IDLE not starting in 3.10.8, 3.12.0a1, and
Microsoft Python 3.10.2288.0 when test/* is not installed.
After this patch, test.* is only imported when testing on Mac.

gh-98307: Add docstring and documentation for SysLogHandler.createSocket (GH-98319)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-94808: Cover `PyFunction_GetCode`, `PyFunction_GetGlobals`, `PyFunction_GetModule` (#98158)

GH-94597: Deprecate child watcher getters and setters (#98215)

This is the next step for deprecating child watchers.

Until we've removed the API completely we have to use it, so this PR is mostly suppressing a lot of warnings when using the API internally.

Once the child watcher API is totally removed, the two child watcher implementations we actually use and need (Pidfd and Thread) will be turned into internal helpers.

gh-98254: Include stdlib module names in error messages for NameErrors (#98255)

Improve speed. Reduce auxiliary memory to 16.6% of the main array. (GH-98294)

[doc] Update logging cookbook with an example of custom handling of levels. (GH-98290)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

docs(typing): harmonize "See PEP x for more details" (#97927)

gh-94808: Cover `str.rsplit` for UCS1, UCS2 or UCS4 (#98228)

Faster sieve() recipe (#98287)

gh-98227: executionmodel.rst: except* can also bind names (#98256)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-94808: Cover `PyEval_GetFuncName` (#98246)

gh-95731: Fix module docstring extraction in pygettext (#95732)

gh-95971: Turn @writes_bytecode_files to skip when not running (#95972)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-96258: move Py_REFCNT and Py_SET_REFCNT to reference counting page (#96259)

gh-85455: Add missing doc strings and improve docs (#21573)

* Add missing doc strings and improve docs

* Use imperative form

* Modify docstring wording

gh-85525: Indicate supported sound header formats (#21575)

* Indicate supported sound header formats

* modify file names

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-91485: Doc: Using Python syntax to document builtin Python functions. (GH-96579)

gh-98251: Allow venv to pass along PYTHON* variables to pip and ensurepip when they do not impact path resolution (GH-98259)

Bpo-41246: IOCP Proactor avoid callback code duplication (#21399)

Use the same callback function for overlapped operations recv, recv_into, recvfrom, sendto, send, and sendfile inside IocpProactor.

bpo-46364: Use sockets for stdin of asyncio only on AIX (#30596)

Signed-off-by: Christoph Hamsen <hamsen.christoph@posteo.de>
Co-authored-by: July Tikhonov <july.tikh@gmail.com>

gh-98178: syslog() is not thread-safe on macOS (#98213)

On macOS, fix a crash in syslog.syslog() in multi-threaded
applications. On macOS, the libc syslog() function is not
thread-safe, so syslog.syslog() no longer releases the GIL to call
it.