gh-96098: Clearly link concurrent.futures from threading & multiprocessing docs (GH-96112)

Clearly link concurrent.futures from threading & multiprocessing docs

Also link directly to asyncio from the beginning of the threading docs.

gh-90536: Fix link syntax to LLVM-BOLT repository (gh-96141)

GH-96071: fix deadlock in PyGILState_Ensure  (GH-96124)

Alternative of #96107

gh-96125: Fix sys.thread_info.name on pthread platforms (GH-96126)

Automerge-Triggered-By: GH:tiran

GH-90997: Wrap yield from/await in a virtual try/except StopIteration (GH-96010)

gh-96019: Fix caching of decompositions in makeunicodedata (GH-96020)

Docs: Fix markup of module name in sqlite3 docs (#96115)

Doc: Use consistent markup for example Point class in sqlite3 (#96095)

Docs: group sqlite3.Connection attributes and methods (#96090)

gh-94635: Remove sqlite3 doc introduction heading (#96089)

gh-95853: WASM: better version and asset handling in scripts (GH-96045)

- support EMSDK tot-upstream and git releases
- allow WASM assents for wasm64-emscripten and WASI. This makes single file distributions on WASI easier.
- decouple WASM assets from browser builds

gh-96039: Corrected wording error in itertools doc (GH-96105)

gh-96017: Fix some compiler warnings (GH-96018)

- "comparison of integers of different signs" in typeobject.c
- only define static_builtin_index_is_set in DEBUG builds
- only define recreate_gil with ifdef HAVE_FORK

GH-95822:  Need _PyType_Lookup() in descriptor howto code equivalent. (GH-95967)

gh-95914: Add Py_UNICODE encode APIs removed in PEP 624 to 3.11 What's New (#96016)

* 3.11 Whatsnew: Add Py_UNICODE encode functions removed in PEP 624

* Just use :func: instead of :c:func: for non-resolved funcs so ! works

gh-95463: Remove backwards incompatible change regarding the _MASK_UTF_FILENAME flags in bpo-28080 (GH-96072)

Automerge-Triggered-By: GH:pablogsal

GH-93179: Document the thread safety of functools.lru_cache (GH-95970)

gh-90536: Add support for the BOLT post-link binary optimizer (gh-95908)

* Add support for the BOLT post-link binary optimizer

Using [bolt](https://github.com/llvm/llvm-project/tree/main/bolt)
provides a fairly large speedup without any code or functionality
changes. It provides roughly a 1% speedup on pyperformance, and a
4% improvement on the Pyston web macrobenchmarks.

It is gated behind an `--enable-bolt` configure arg because not all
toolchains and environments are supported. It has been tested on a
Linux x86_64 toolchain, using llvm-bolt built from the LLVM 14.0.6
sources (their binary distribution of this version did not include bolt).

Compared to [a previous attempt](https://github.com/faster-cpython/ideas/issues/224),
this commit uses bolt's preferred "instrumentation" approach, as well as adds some non-PIE
flags which enable much better optimizations from bolt.

The effects of this change are a bit more dependent on CPU microarchitecture
than other changes, since it optimizes i-cache behavior which seems
to be a bit more variable between architectures. The 1%/4% numbers
were collected on an Intel Skylake CPU, and on an AMD Zen 3 CPU I
got a slightly larger speedup (2%/4%), and on a c6i.xlarge EC2 instance
I got a slightly lower speedup (1%/3%).

The low speedup on pyperformance is not entirely unexpected, because
BOLT improves i-cache behavior, and the benchmarks in the pyperformance
suite are small and tend to fit in i-cache.

This change uses the existing pgo profiling task (`python -m test --pgo`),
though I was able to measure about a 1% macrobenchmark improvement by
using the macrobenchmarks as the training task. I personally think that
both the PGO and BOLT tasks should be updated to use macrobenchmarks,
but for the sake of splitting up the work this PR uses the existing pgo task.

* Simplify the build flags

* Add a NEWS entry

* Update Makefile.pre.in

Co-authored-by: Dong-hee Na <donghee.na92@gmail.com>
* Update configure.ac

Co-authored-by: Dong-hee Na <donghee.na92@gmail.com>
* Add myself to ACKS

* Add docs

* Other review comments

* fix tab/space issue

* Make it more clear that --enable-bolt is experimental

* Add link to bolt's github page

Co-authored-by: Dong-hee Na <donghee.na92@gmail.com>

Remove manual build scripts for Windows dependencies and put them in the release-tools repository instead (GH-96088)

GH-95861: Add support for Spearman's rank correlation coefficient (GH-95863)

Docs: Escape lone stars in sqlite3 docs (#96081)

gh-95271: Rework sqlite3 tutorial (#95749)

Co-authored-by: C.A.M. Gerlach <CAM.Gerlach@Gerlach.CAM>
Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>

gh-93103: Doc uses PyConfig rather than deprecated vars (#96070)

The C API documentation now uses the new PyConfig API, rather than
deprecated global configuration variables.

gh-95813: Improve HTMLParser from the view of inheritance (#95874)

* gh-95813: Improve HTMLParser from the view of inheritance

* gh-95813: Add unittest

* Address code review

gh-95913: Add traceback module additions to what's new in 3.11 (GH-95980)

gh-95913: make the new internal classes pdb.ModuleTarget/ScriptTarget private (GH-96053)

Remove dead code in _PyDict_GetItemHint and rename to _PyDict_LookupIndex (GH-95948)

gh-90110: Update the c-analyzer Tool (gh-96058)

gh-90110: Get the C Analyzer Tool Working Again (gh-96057)

We broke it with a recent `_PyArg_Parser` change.

Also:
* moved the `_PyArg_Parser` whitelist entries over to ignored.tsv now that they are thread-safe
* added some known globals from a currently-excluded file
* dropped some outdated globals from the whitelist

Correct news entry. (GH-96043)

GH-95589: Dont crash when subclassing extension classes with multiple inheritance (GH-96028)

* Treat tp_weakref and tp_dictoffset like other opaque slots for multiple inheritance.

* Document Py_TPFLAGS_MANAGED_DICT and Py_TPFLAGS_MANAGED_WEAKREF in what's new.

gh-95991: Add some infrastructure for testing Limited API in _testcapi (GH-95992)

- Limited API needs to be enabled per source file
- Some builds don't support Limited API, so Limited API tests must be skipped on those builds
  (currently this is `Py_TRACE_REFS`, but that may change.)
- `Py_LIMITED_API` must be defined before `<Python.h>` is included.

This puts the hoop-jumping in `testcapi/parts.h`, so individual
test files can be relatively simple. (Currently that's only
`vectorcall_limited.c`, imagine more.)

GH-93911: Specialize `LOAD_ATTR` for custom `__getattribute__` (GH-93988)

gh-95736: Fix event loop creation in IsolatedAsyncioTestCase (GH-96033)

It should be created before calling the setUp() method, but after
checking for skipping a test.

Automerge-Triggered-By: GH:tiran

gh-96005: FreeBSD has ENOTCAPABLE, too (GH-96034)

GH-95704: Don't suppress errors from tasks when TG is cancelled (#95761)

When a task catches CancelledError and raises some other error,
the other error should not silently be suppressed.

Any scenario where a task crashes in cleanup upon cancellation
will now result in an ExceptionGroup wrapping the crash(es)
instead of propagating CancelledError and ignoring the side errors.

NOTE: This represents a change in behavior (hence the need to
change several tests).  But it is only an edge case.

Co-authored-by: Thomas Grainger <tagrain@gmail.com>

GH-95909: Make `_PyArg_Parser` initialization thread safe  (GH-95958)

gh-96005: Handle WASI ENOTCAPABLE in getpath (GH-96006)

- On WASI `ENOTCAPABLE` is now mapped to `PermissionError`.
- The `errno` modules exposes the new error number.
- `getpath.py` now ignores `PermissionError` when it cannot open landmark
  files `pybuilddir.txt` and `pyenv.cfg`.

gh-94823: Improve coverage in tokenizer.c:valid_utf8 (GH-94856)

When loading a source file from disk, there is a separate UTF-8 validator
distinct from the one in `unicode_decode_utf8`. This exercises that code path
with the same set of invalid inputs as we use for testing the "other" UTF-8
decoder.

GH-95736: fix IsolatedAsyncioTestCase to initialize Runner before calling setup functions  (#95898)

GH-95245: Move weakreflist into the pre-header. (GH-95996)

remove repetitive credit from what's new in 3.11 rst (GH-96024)

gh-95957: Add instructions for Tcl/Tk and OpenSSL on RHEL/CentOS 7 (#95964)

Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

Change CODEOWNERS entries for iritkatriel (GH-96008)

gh-95808: Add missing early returns in _asynciomodule.c (#95809)

gh-78143: IDLE - fix settings dialog page label. (#96009)

'/Tab' should have been removed from the font page label
when the tab-spaces setting was moved to the Windows page.

GH-94808: Test __build_class__ inside non-dict __builtins__ (GH-95932)

GH-95899: fix asyncio.Runner to call set_event_loop only once (#95900)

gh-95231: Disable md5 & crypt modules if FIPS is enabled (GH-94742)

If kernel fips is enabled, we get permission error upon doing
`import crypt`. So, if kernel fips is enabled, disable the
unallowed hashing methods.

Python 3.9.1 (default, May 10 2022, 11:36:26)
[GCC 10.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import crypt
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.9/crypt.py", line 117, in <module>
    _add_method('MD5', '1', 8, 34)
  File "/usr/lib/python3.9/crypt.py", line 94, in _add_method
    result = crypt('', salt)
  File "/usr/lib/python3.9/crypt.py", line 82, in crypt
    return _crypt.crypt(word, salt)
PermissionError: [Errno 1] Operation not permitted

Signed-off-by: Shreenidhi Shedi <sshedi@vmware.com>

gh-95707: Fix function signature (GH-95995)

GH-95707: Fix uses of `Py_TPFLAGS_MANAGED_DICT` (GH-95854)

* Make sure that tp_dictoffset is correct with Py_TPFLAGS_MANAGED_DICT is set.

* Avoid traversing managed dict twice when subclassing class with Py_TPFLAGS_MANAGED_DICT set.

gh-95853: Address wasm build and test issues (GH-95985)

Clarify asyncio.Runner docs re: loop_factory (#95979)

GH-95977: Speed up calling pure python descriptor __get__ with vectorcall (gh-95978)

bpo-40222: Mark exception table function in the dis module as private (#95961)

gh-95853: Add script to automate WASM build (GH-95828)

Automate WASM build with a new Python script. The script provides
several build profiles with configure flags for Emscripten flavors
and WASI. The script can detect and use Emscripten SDK and WASI SDK from
default locations or env vars.

``configure`` now detects Node arguments and creates HOSTRUNNER
arguments for Node 16. It also sets correct arguments for
``wasm64-emscripten``.

Co-authored-by: Brett Cannon <brett@python.org>

gh-89313: Add hashlib.file_digest to whatsnew 3.11 (GH-95965)

Automerge-Triggered-By: GH:pablogsal

bpo-25625: Document contextlib.chdir in the 3.11 what's new (#95962)

gh-95914: Add paragraph about PEP 654 in main body of 'What's New in 3.11' (GH-95937)

gh-90928: Improve static initialization of keywords tuple in AC (#95907)

gh-94439: typing docs: Add minimum version to `__required_keys__` and `__optional_keys__` (#95373)

Fix typo in internal/pycore_atomic.h (GH-95939)

gh-94909: fix joining of absolute and relative Windows paths in pathlib  (GH-95450)

Have pathlib use `os.path.join()` to join arguments to the `PurePath` initialiser, which fixes a minor bug when handling relative paths with drives.

Previously:

```python
>>> from pathlib import PureWindowsPath
>>> a = 'C:/a/b'
>>> b = 'C:x/y'
>>> PureWindowsPath(a, b)
PureWindowsPath('C:x/y')
```

Now:

```python
>>> PureWindowsPath(a, b)
PureWindowsPath('C:/a/b/x/y')
```

gh-94996: Disallow lambda pos only params with feature_version < (3, 8) (GH-95934)

gh-94996: Disallow parsing pos only params with feature_version < (3, 8) (GH-94997)

gh-90300: [docs] Add whatsnew entry for new --help output (GH-95856) (GH-95928)

Co-authored-by: Éric <merwok@netwok.org>

gh-82180: Document support for non-integer arg removed from grp.getgrgid in 3.10 (GH-95346)

gh-95914: Add missing PEPs to the Summary section of 3.11 What's New (GH-95916)

gh-95922: compiler's eliminate_empty_basic_blocks ignores the last block of the compilation unit (GH-95924)

gh-95724: Clarify taskgroups.py license. (#95847)

gh-95273: Improve sqlite3.complete_statement docs (#95840)

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
Co-authored-by: CAM Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-90928: Statically Initialize the Keywords Tuple in Clinic-Generated Code (gh-95860)

We only statically initialize for core code and builtin modules.  Extension modules still create
the tuple at runtime.  We'll solve that part of interpreter isolation separately.

This change includes generated code. The non-generated changes are in:

* Tools/clinic/clinic.py
* Python/getargs.c
* Include/cpython/modsupport.h
* Makefile.pre.in (re-generate global strings after running clinic)
* very minor tweaks to Modules/_codecsmodule.c and Python/Python-tokenize.c

All other changes are generated code (clinic, global strings).

gh-95841: IDLE - Revise Windows local doc url (#95845)

#91242 replaced the Windows chm help file with a copy
of the html docs.  This PR replaces the IDLE code that
fetches the Windows local help url passed to os.startfile.
Co-authored-by: Steve Dower

gh-84910: Change 'IDLE Help' to 'IDLE Doc' (#95873)

'IDLE Help' was a plain text file.  It was superceded years ago
by a copy of the much more complete html doc.  .

gh-87092: compiler's codegen stage uses int jump target labels, and the target pointer is only calculated just before optimization stage (GH-95655)

GH-95818: Skip incomplete frames in `PyThreadState_GetFrame` (GH-95886)

Update _PyEval_AddPendingCall comment (#95817)

gh-95878: Fix format char in datetime CAPI tests (GH-95879)

gh-95876: Fix format string in pegen error location code (#95877)

gh-90385: Add pathlib.Path.walk what's new section (GH-95467)

Automerge-Triggered-By: GH:brettcannon

Docs: replace 'currying' by 'partial function'. (#91814)

gh-75510: Edit idlelib entry in doc (#95869)

Make section instead of subsection and revise sentence.

gh-84910: Tweak IDLE Glossary entry (#95866)

Link "IDLE" to its doc and add 'and Learning' to its expansion,
as in the doc.

gh-95733: Allow installing Store package on older Windows versions (GH-95862)

gh-95605: Fix `float(s)` error message when `s` contains only whitespace (GH-95665)

This PR fixes the error message from float(s) in the case where s contains only whitespace.

gh-95804: Respect MemoryHandler.flushOnClose in logging shutdown. (GH-95857)

gh-95504: Fix negative numbers in PyUnicode_FromFormat (GH-95848)

Co-authored-by: philg314 <110174000+philg314@users.noreply.github.com>

[docs] Mention RESUME opcode in whatsnew/3.11.rst (#95595)

gh-93649: Undefine NDEBUG in Modules/_testcapi/* to enable assert() (GH-95793)

gh-93649: Split unicode tests from _testcapimodule.c & add some more (GH-95819)

- Move PyUnicode tests to a separate file
- Add some more tests for PyUnicode_FromFormat

Co-authored-by: philg314 <110174000+philg314@users.noreply.github.com>

gh-95349: Hide a Distutils Warning Filter for test_check_c_globals (GH-95837)

Under certain build conditions, test_check_c_globals fails.  This fix takes the same approach as we took for gh-84236 (via gh-20095).  We'll be removing use of distutils in the c-analyzer at some point.  Until then we'll hide the warning filter.

gh-75500: Add idlelib section to IDLE doc (#95832)

This enables accessing IDLE as 'idlelib' in the Doc Module listing.

gh-95767: Fix grammatical error in asyncio loop.create_task docs (#95768)

GH-92678: Document that you shouldn't be doing your own dictionary offset calculations. (GH-95598)

Co-authored-by: Petr Viktorin <encukou@gmail.com>
Co-authored-by: Stanley <46876382+slateny@users.noreply.github.com>

Disable Limited API tests with Py_TRACE_REFS (GH-95796)

Improvements to the bisect docs (GH-95807)

bpo-37000: Remove obsolete comment in _randbelow_with_getrandbits (#95775)

gh-95273: Reorganize sqlite3 doc module level funcs and vars (#95626)

Co-authored-by: Ezio Melotti <ezio.melotti@gmail.com>
Co-authored-by: CAM Gerlach <CAM.Gerlach@Gerlach.CAM>

gh-95781: More strict format string checking in PyUnicode_FromFormatV() (GH-95784)

An unrecognized format character in PyUnicode_FromFormat() and
PyUnicode_FromFormatV() now sets a SystemError.
In previous versions it caused all the rest of the format string to be
copied as-is to the result string, and any extra arguments discarded.

gh-95491: Mention IDLE Issue project in Readme (#95750)