bpo-45434: Cleanup Python.h header file (GH-28883)

* Move limits.h include and UCHAR_MAX checks to pyport.h.
* Move sanitizers macros to pyport.h.
* Remove comment about <assert.h>: C extensions are built with NDEBUG
  automatically by Python.

bpo-45412: Remove Py_SET_ERRNO_ON_MATH_ERROR() macro (GH-28820)

Remove the following math macros using the errno variable:

* Py_ADJUST_ERANGE1()
* Py_ADJUST_ERANGE2()
* Py_OVERFLOWED()
* Py_SET_ERANGE_IF_OVERFLOW()
* Py_SET_ERRNO_ON_MATH_ERROR()

Create pycore_pymath.h internal header file.

Rename Py_ADJUST_ERANGE1() and Py_ADJUST_ERANGE2() to
_Py_ADJUST_ERANGE1() and _Py_ADJUST_ERANGE2(), and convert these
macros to static inline functions.

Move the following macros to pycore_pymath.h:

* _Py_IntegralTypeSigned()
* _Py_IntegralTypeMax()
* _Py_IntegralTypeMin()
* _Py_InIntegralTypeRange()

bpo-45351, asyncio: Enhance echo server example, print all addresses (GH-28828)

Handle error when PyUnicode_GetLength returns a negative value. (GH-28859)

bpo-20028: Empty escapechar/quotechar is not allowed for csv.Dialect (GH-28833)

bpo-45411: Update mimetypes.py (GH-28792)

.vtt and .srt files are common subtitle files, used by browsers.

bpo-42253: Update xml.dom.minidom.rst (GH-23126)

Document that the "standalone" parameter was added in Python 3.9.
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

Restore PEP 523 functionality. (GH-28871)

Fix a leak in _PyImport_LoadDynamicModuleWithSpec() after failing PySys_Audit() (GH-28862)

bpo-45401: Fix a resource warning in test_logging (GH-28864)

bpo-45416: Fix use of asyncio.Condition() with explicit Lock objects (GH-28850)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-45401: Change shouldRollover() methods to only rollover regular f… (GH-28822)

…iles.

Also changed some historical return values from 1 -> True and 0 -> False.

Fix class pattern docs to refer to class patterns (GH-28849)

Remove repeated 'the' in docs (GH-28852)

bpo-29410: Change the default hash algorithm to SipHash13. (GH-28752)

Co-authored-by: Erlend Egeberg Aasland <erlend.aasland@innova.no>
Co-authored-by: Christian Heimes <christian@python.org>

Fix EncodingWarning in test_tools. (GH-28846)

bpo-45353: Remind sys.modules users to copy when iterating. (GH-28842)

This is true of all dictionaries in Python, but this one tends to
catch people off guard as they don't realize when sys.modules might
change out from underneath them as a hidden side effect of their
code.  Copying it first avoids the RuntimeError.  An example when
this happens in single threaded code are codecs being loaded which
are an implicit time of use import that most need not think about.

Fix dataclassses spelling (GH-28837)

Fix the "Finding all Adverbs" example (GH-21420)

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

bpo-45256: Small cleanups for the code that inlines Python-to-Python calls in ceval.c (GH-28836)

bpo-27580: Add support of null characters in the csv module. (GH-28808)

bpo-45256: Remove the usage of the C stack in Python to Python calls (GH-28488)

Ths commit inlines calls to Python functions in the eval loop and steals all the arguments in the call from the caller for
performance.

bpo-20028: Keep original exception when PyUnicode_GetLength return -1 (GH-28832)

bpo-20028: Improve error message of csv.Dialect when initializing (GH-28705)

Bump MAGIC_NUMBER to reflect change in JUMP_ABSOLUTE semantics. (GH-28829)

[doc]: update susp-ignored.csv after a98b273c. (GH-28827)

bpo-10716: Migrating pydoc to html5. (GH-28651)

Replace usage of  List[...] with list[...] in typing docs (GH-28821)

The ``List[...]`` form is deprecated since 3.9.

bpo-45410: libregrtest -jN writes stderr into stdout (GH-28819)

When libregrtest spawns a worker process, stderr is now written into
stdout to keep messages order. Use a single pipe for stdout and
stderr, rather than two pipes. Previously, messages were out of order
which made analysis of buildbot logs harder

bpo-45407: Remove outdated XXX comment from Struct___init___impl (GH-28805)

 bpo-45262, asyncio: Fix cache of the running loop holder (GH-28796)

Prevent use-after-free of running loop holder via cache.

bpo-45408: Don't override previous tokenizer errors in the second parser pass (GH-28812)

bpo-45337: Use the realpath of the new executable when creating a venv on Windows (GH-28663)

bpo-16379: Fix SQLite version checks in test_module_constants() (GH-28809)

Automerge-Triggered-By: GH:pablogsal

bpo-45403: Fix test_sys.test_stdlib_dir() (GH-28785)

Fix test_sys.test_stdlib_dir() when Python is built outside the
source tree: compare normalized paths.

bpo-45402: Fix test_tools.test_sundry() (GH-28786)

Fix test_tools.test_sundry() when Python is built out of tree: fix
how the freeze_modules.py tool locates the _freeze_module program.

Remove draft notice on the 3.10 What's new document (GH-28806)

Automerge-Triggered-By: GH:pablogsal

bpo-45400: Fix suggestion test of test_exceptions (GH-28783)

Fix test_name_error_suggestions_do_not_trigger_for_too_many_locals()
of test_exceptions if a directory name contains "a1" (like
"Python-3.11.0a1"): use a stricter regular expression.

bpo-45041: Restore `sqlite3` executescript behaviour for `SELECT` queries (GH-28509)

* bpo-45041: Restore sqlite3 executescript behaviour for select queries

* Add regression test

Fix typos in the Modules directory (GH-28761)

bpo-35970: Add help flag to base64 module (GH-28774)

This continues off rkuska's work from https://github.com/python/cpython/pull/11789 seeing as the patch wasn't updated to add tests.

bpo-45385: Fix reference leak from descr_check (#28719)

Fix typos in the Objects directory (GH-28766)

bpo-29505: Add fuzzer for ast.literal_eval (GH-28777)

This supercedes https://github.com/python/cpython/pull/3437 and fuzzes the method we recommend for unsafe inputs, `ast.literal_eval`. This should exercise the tokenizer and parser.

Fix typos in the Lib directory (GH-28775)

Fix typos in the Lib directory as identified by codespell.

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

Fix typos in the Python directory (GH-28767)

bpo-45375: Fix off by one error in buffer allocation (GH-28764)

Fix typos in the Include directory (GH-28745)

[doc] Mention __slots__ behavior in weakref.rst (GH-21061)

It took me longer than I expected to figure out why a random class
I dealt with didn't support weak references. I believe this addition
will make the __slots__/weakref interaction more discoverable to people
having troubles with this. (Before this patch __slots__ was not
mentioned in weakref documentation even once).

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

Fix typos in the Tools directory (GH-28769)

Like #28744 but for the Tools directory.

[skip issue] Opening a related issue is pending python/psf-infra-meta#130

Automerge-Triggered-By: GH:pablogsal

bpo-45328: Avoid failure in OSs without TCP_NODELAY support (GH-28646)

Operating systems without support for TCP_NODELAY will raise an OSError
when trying to set the socket option, but the show can still go on.

[Misc] [Mac] Fix typos found using codespell (GH-28756)

bpo-40321: Add missing test, slightly expand documentation (GH-28760)

Remove test_nntplib from quicktest (GH-28754)

bpo-34804: [doc] Rephrase section on side effects in functional.rst for clarity (GH-27989)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-40116: Add insertion order bit-vector to dict values to allow dicts to share keys more freely. (GH-28520)

Normalize jumps in compiler. All forward jumps to use JUMP_FORWARD. (GH-28755)

bpo-40321: Support HTTP response status code 308 in urllib.request (#19588)

* Support HTTP response status code 308 in urllib.

HTTP response status code 308 is defined in https://tools.ietf.org/html/rfc7538 to be the permanent redirect variant of 307 (temporary redirect).

* Update documentation to include http_error_308()

* Add blurb for bpo-40321 fix

Co-authored-by: Roland Crosby <roland@rolandcrosby.com>

[doc] Fix typos found using codespell (GH-28744)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-45343: Update bundled pip to 21.2.4 and setuptools to 58.1.0 (GH-28684)

[Tools/peg_generator/pegen/parser.py] Fix typo: s/wether/whether/ (GH-28739)

bpo-45020: Identify which frozen modules are actually aliases. (gh-28655)

In the list of generated frozen modules at the top of Tools/scripts/freeze_modules.py, you will find that some of the modules have a different name than the module (or .py file) that is actually frozen. Let's call each case an "alias". Aliases do not come into play until we get to the (generated) list of modules in Python/frozen.c. (The tool for freezing modules, Programs/_freeze_module, is only concerned with the source file, not the module it will be used for.)

Knowledge of which frozen modules are aliases (and the identity of the original module) normally isn't important. However, this information is valuable when we go to set __file__ on frozen stdlib modules. This change updates Tools/scripts/freeze_modules.py to map aliases to the original module name (or None if not a stdlib module) in Python/frozen.c. We also add a helper function in Python/import.c to look up a frozen module's alias and add the result of that function to the frozen info returned from find_frozen().

https://bugs.python.org/issue45020

Post 3.11.0a1

Merge tag 'v3.11.0a1'

Python 3.11.0a1

[doc] Fix gethostbyname_ex description (GH-28700)

It seems part of `gethostbyname_ex` doc was copied from `gethostbyaddr`. The latter has an `ip_address` parameter whereas the former doesn't.

Rearrage the finder tests. (gh-28740)

This makes the tests a bit cleaner and makes adding more tests a little simpler.

https://bugs.python.org/issue45324

bpo-45324: Capture data in FrozenImporter.find_spec() to use in exec_module(). (gh-28633)

Before this change we end up duplicating effort and throwing away data in FrozenImporter.find_spec().  Now we do the work once in find_spec() and the only thing we do in FrozenImporter.exec_module() is turn the raw frozen data into a code object and then exec it.

We've added _imp.find_frozen(), add an arg to _imp.get_frozen_object(), and updated FrozenImporter.  We've also moved some code around to reduce duplication, get a little more consistency in outcomes, and be more efficient.

Note that this change is mostly necessary if we want to set __file__ on frozen stdlib modules. (See https://bugs.python.org/issue21736.)

https://bugs.python.org/issue45324

bpo-44050: Extension modules can share state when they don't support sub-interpreters. (GH-27794)

Automerge-Triggered-By: GH:encukou

Python 3.11.0a1

bpo-45375: Fix assertion failure due to searching for stdlib in unnormalised paths (GH-28735)

bpo-45354: Skip obsolete device name tests on Windows 11 (GH-28712)

bpo-45163: Restrict added libnetwork check to builds on Haiku. (GH-28729)

For example, without the guard the check could cause macOS
installer builds to fail to install on older supported macOS
releases where libnetwork is not available and is not needed
on any release.

bpo-43760: Check for tracing using 'bitwise or' instead of branch in dispatch. (GH-28723)

bpo-45371: Fix distutils' rpath support for clang (GH-28732)

Signed-off-by: Christian Heimes <christian@python.org>

Fix compiler warning in ceval.c regarding signed comparison (GH-28716)

bpo-45355: More use of sizeof(_Py_CODEUNIT) (GH-28720)

bpo-28206: Document signals Handlers, Sigmasks and Signals enums (GH-28628)

Co-authored-by: desbma <desbma@users.noreply.github.com>

bpo-44594: fix (Async)ExitStack handling of __context__ (gh-27089)

* bpo-44594: fix (Async)ExitStack handling of __context__

Make enter_context(foo()) / enter_async_context(foo()) equivalent to
`[async] with foo()` regarding __context__ when an exception is raised.

Previously exceptions would be caught and re-raised with the wrong
context when explicitly overriding __context__ with None.

bpo-45350: Rerun autoreconf with the pkg-config macros (GH-28708)

bpo-45355: Use sizeof(_Py_CODEUNIT) instead of literal 2 for the size of the code unit (GH-28711)

Remove news entry without bpo issue number. (GH-28703)

I'm just removing an erroneous NEWS entry I previously merged.

Automerge-Triggered-By: GH:JulienPalard

Remove trailing spaces. (GH-28706)

Fix spelling error in comment (GH-28696)

bpo-45346: Keep docs consistent regarding true and false values (GH-28697)

bpo-45329: Fix freed memory access in pyexpat.c (GH-28649)

Makefile: Fix missing slashes (GH-28659)

bpo-45341: Replace 'Packaging' with 'Package' in "Python P... Index" (#28687)

pypi.org "  The Python Package Index (PyPI) ...

bpo-44687: Ensure BufferedReader objects with unread buffers can peek even when the underlying file is closed (GH-28457)

Fix a couple of compiler warnings. (GH-28677)

bpo-45332: Fix broken Decimal test and benchmark (GH-28680)

hashlib: Fix old message about unicode objects. (GH-28653)

sqlite3: Modernize documentation around unicode and bytes. (GH-28652)

bpo-41710: Add private _PyDeadline_Get() function (GH-28674)

Add a private C API for deadlines: add _PyDeadline_Init() and
_PyDeadline_Get() functions.

* Add _PyTime_Add() and _PyTime_Mul() functions which compute t1+t2
  and t1*t2 and clamp the result on overflow.
* _PyTime_MulDiv() now uses _PyTime_Add() and _PyTime_Mul().

bpo-41710: gc_collect_main() uses _PyTime_GetPerfCounter() (GH-28676)

If the DEBUG_STATS debug flag is set, gc_collect_main() now uses
_PyTime_GetPerfCounter() instead of _PyTime_GetMonotonicClock() to
measure the elapsed time.

On Windows, _PyTime_GetMonotonicClock() only has a resolution of 15.6
ms, whereas _PyTime_GetPerfCounter() is closer to a resolution of 100
ns.

bpo-41710: Fix PY_TIMEOUT_MAX on Windows (GH-28673)

WaitForSingleObject() accepts timeout in milliseconds in the range
[0; 0xFFFFFFFE] (DWORD type). INFINITE value (0xFFFFFFFF) means no
timeout. 0xFFFFFFFE milliseconds is around 49.7 days.

PY_TIMEOUT_MAX is (0xFFFFFFFE * 1000) milliseconds on Windows, around
49.7 days.

Partially revert commit 37b8294d6295ca12553fd7c98778be71d24f4b24.

bpo-45125: Improves pickling docs and tests for `shared_memory` (GH-28294)

Revert "Revert "bpo-45229: Make datetime tests discoverable (GH-28615)" (GH-28650)" (GH-28667)

This reverts commit b07fddd527efe67174ce6b0fdbe8dac390b16e4e.

bpo-45310: Fix parrallel shared memory tests (GH-28661)

Add a PID to names of POSIX shared memory objects to allow
running multiprocessing tests (test_multiprocessing_fork,
test_multiprocessing_spawn, etc) in parallel.

bpo-41710: PyThread_acquire_lock_timed() uses sem_clockwait() (GH-28662)

On Unix, if the sem_clockwait() function is available in the C
library (glibc 2.30 and newer), the threading.Lock.acquire() method
now uses the monotonic clock (time.CLOCK_MONOTONIC) for the timeout,
rather than using the system clock (time.CLOCK_REALTIME), to not be
affected by system clock changes.

configure now checks if the sem_clockwait() function is available.

Install the __phello__ package too. (#28665)

I broke some buildbots by not adding __phello__ to the list of installed packages.

https://bugs.python.org/issue45020