bpo-45125: Improves pickling docs and tests for `shared_memory` (GH-28294)

Revert "Revert "bpo-45229: Make datetime tests discoverable (GH-28615)" (GH-28650)" (GH-28667)

This reverts commit b07fddd527efe67174ce6b0fdbe8dac390b16e4e.

bpo-45310: Fix parrallel shared memory tests (GH-28661)

Add a PID to names of POSIX shared memory objects to allow
running multiprocessing tests (test_multiprocessing_fork,
test_multiprocessing_spawn, etc) in parallel.

bpo-41710: PyThread_acquire_lock_timed() uses sem_clockwait() (GH-28662)

On Unix, if the sem_clockwait() function is available in the C
library (glibc 2.30 and newer), the threading.Lock.acquire() method
now uses the monotonic clock (time.CLOCK_MONOTONIC) for the timeout,
rather than using the system clock (time.CLOCK_REALTIME), to not be
affected by system clock changes.

configure now checks if the sem_clockwait() function is available.

Install the __phello__ package too. (#28665)

I broke some buildbots by not adding __phello__ to the list of installed packages.

https://bugs.python.org/issue45020

bpo-45020: Add more test cases for frozen modules. (gh-28664)

I've added a number of test-only modules. Some of those cases are covered by the recently frozen stdlib modules (and some will be once we add encodings back in). However, I figured we'd play it safe by having a set of modules guaranteed to be there during tests.

https://bugs.python.org/issue45020

bpo-40173: Fix test.support.import_helper.import_fresh_module() (GH-28654)

* Work correctly if an additional fresh module imports other
  additional fresh module which imports a blocked module.
* Raises ImportError if the specified module cannot be imported
  while all additional fresh modules are successfully imported.
* Support blocking packages.
* Always restore the import state of fresh and blocked modules
  and their submodules.
* Fix test_decimal and test_xml_etree which depended on an undesired
  side effect of import_fresh_module().

Revert "bpo-45229: Make datetime tests discoverable (GH-28615)" (GH-28650)

This reverts commit d441437ee71ae174c008c23308b749b91020ba77.

bpo-41710: Document _PyTime_t API in pytime.h (GH-28647)

bpo-41710: PyThread_acquire_lock_timed() clamps the timout (GH-28643)

PyThread_acquire_lock_timed() now clamps the timeout into the
[_PyTime_MIN; _PyTime_MAX] range (_PyTime_t type) if it is too large,
rather than calling Py_FatalError() which aborts the process.

PyThread_acquire_lock_timed() no longer uses
MICROSECONDS_TO_TIMESPEC() to compute sem_timedwait() argument, but
_PyTime_GetSystemClock() and _PyTime_AsTimespec_truncate().

Fix _thread.TIMEOUT_MAX value on Windows: the maximum timeout is
0x7FFFFFFF milliseconds (around 24.9 days), not 0xFFFFFFFF
milliseconds (around 49.7 days).

Set PY_TIMEOUT_MAX to 0x7FFFFFFF milliseconds, rather than 0xFFFFFFFF
milliseconds.

Fix PY_TIMEOUT_MAX overflow test: replace (us >= PY_TIMEOUT_MAX) with
(us > PY_TIMEOUT_MAX).

Fix EncodingWarning in freeze_modules. (GH-28591)

bpo-41710: Fix building pytime.c on Windows (GH-28644)

bpo-41710: Add pytime_add() and pytime_mul() (GH-28642)

Add pytime_add() and pytime_mul() functions to pytime.c to compute
t+t2 and t*k with clamping to [_PyTime_MIN; _PyTime_MAX].

Fix pytime.h: _PyTime_FromTimeval() is not implemented on Windows.

bpo-41710: Add _PyTime_AsTimespec_clamp() (GH-28629)

Add the _PyTime_AsTimespec_clamp() function: similar to
_PyTime_AsTimespec(), but clamp to _PyTime_t min/max and don't raise
an exception.

PyThread_acquire_lock_timed() now uses _PyTime_AsTimespec_clamp() to
remove the Py_UNREACHABLE() code path.

* Add _PyTime_AsTime_t() function.
* Add PY_TIME_T_MIN and PY_TIME_T_MAX constants.
* Replace _PyTime_AsTimeval_noraise() with _PyTime_AsTimeval_clamp().
* Add pytime_divide_round_up() function.
* Fix integer overflow in pytime_divide().
* Add pytime_divmod() function.

bpo-43753: _operator.is_() uses Py_Is() (GH-28641)

bpo-45229: Make datetime tests discoverable (GH-28615)

bpo-45020: Do not freeze <pkg>/__init__.py twice. (gh-28635)

Currently we're freezing the __init__.py twice, duplicating the built data unnecessarily With this change we do it once. There is no change in runtime behavior.

https://bugs.python.org/issue45020

[typo] s/libexpact/libexpat/ in setup.py (GH-28624)

[typo] Fix threading.Barrier comment that used confusing punctuation (GH-28623)

Removed extra comma in comment that indicates state of a `Barrier` as it was confusing and breaking the flow while reading.

Co-authored-by: Priyank <5903604+cpriyank@users.noreply.github.com>

bpo-44394: Ensure libexpat is linked against libm (GH-28617)

Fix doctest doc examples for syntax errors (GH-28486)

* fix doctest doc examples for syntax errors

* updated examples to use TypeErrors

* fixed first sentence

* unneeded comma

bpo-45291: Explicitly set --libdir=lib when configure OpenSSL (GH-28566)

bpo-24391: Better reprs for threading objects. (GH-20534)

Add reprs for Semaphore, BoundedSemaphore, Event, and Barrier.

bpo-39039: tarfile raises descriptive exception from zlib.error (GH-27766)

* during tarfile parsing, a zlib error indicates invalid data
* tarfile.open now raises a descriptive exception from the zlib error
* this makes it clear to the user that they may be trying to open a
  corrupted tar file

[docs] Use full names for time units (GH-28611)

Use "second", "millisecond", "microsecond", "nanosecond" instead of
"sec", "ms", "msec", "us", "ns", etc.

bpo-45269: test wrong `markers` type to `c_make_encoder` (GH-28540)

[docs] Improve the markup of powers (GH-28598)

bpo-45211: Remember the stdlib dir during startup. (gh-28586)

During runtime startup we figure out the stdlib dir but currently throw that information away. This change preserves it and exposes it via PyConfig.stdlib_dir, _Py_GetStdlibDir(), and sys._stdlib_dir.

https://bugs.python.org/issue45211

bpo-35606: Fix math.prod tests using 'start' as keyword parameter (GH-28595)

bpo-45296: Fix exit/quit message on Windows (GH-28577)

IDLE recognizes Ctrl-D, as on other systems, instead of Ctrl-Z.

Optimized code format (GH-28599)

Automerge-Triggered-By: GH:pablogsal

[doc] fix minor typo for argparse (GH-28451)

"A JSONDecodeError" instead of "An JSONDecodeError".

Fixed typo in "decclarations" (GH-28578)

Fix typo in whatsnew: "ns" is 10^-9 secs and "us" is 10^-6 secs. (GH-28565)

bpo-1596321: Fix threading._shutdown() for the main thread (GH-28549)

Fix the threading._shutdown() function when the threading module was
imported first from a thread different than the main thread: no
longer log an error at Python exit.

bpo-45249: Ensure the traceback module prints correctly syntax errors with ranges (GH-28575)

Select correct tool platform when building on Windows ARM64 natively (GH-28491)

Do not check isabs() on Windows. (gh-28584)

I missed this in gh-28550.

https://bugs.python.org/issue45211

bpo-45211: Move helpers from getpath.c to internal API. (gh-28550)

This accomplishes 2 things:

* consolidates some common code between getpath.c and getpathp.c
* makes the helpers available to code in other files

FWIW, the signature of the join_relfile() function (in fileutils.c) intentionally mirrors that of Windows' PathCchCombineEx().

Note that this change is mostly moving code around. No behavior is meant to change.

https://bugs.python.org/issue45211

bpo-43914: Correctly highlight SyntaxError exceptions for invalid generator expression in function calls (GH-28576)

bpo-45274: Fix Thread._wait_for_tstate_lock() race condition (GH-28532)

Fix a race condition in the Thread.join() method of the threading
module. If the function is interrupted by a signal and the signal
handler raises an exception, make sure that the thread remains in a
consistent state to prevent a deadlock.

bpo-44958: Revert GH-27844 (GH-28574)

This reverts commit 050d1035957379d70e8601e6f5636637716a264b, but keeps
the tests.

bpo-45280: Add test for empty `NamedTuple` in `test_typing` (GH-28559)

Co-authored-by: Dong-hee Na <donghee.na92@gmail.com>

bpo-21302: Add nanosleep() implementation for time.sleep() in Unix (GH-28545)

Co-authored-by: Livius <egyszeregy@freemail.hu>

bpo-43914: Whats New 310: add new SyntaxError attributes (GH-28558)

Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-45166: fixes `get_type_hints` failure on `Final` (GH-28279)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>
Co-authored-by: Ken Jin <28750310+Fidget-Spinner@users.noreply.github.com>

bpo-45277: Fix typo in codecs doc (GH-28555)

encoding => encode

bpo-41299: Mark private thread_nt.h functions as static (GH-28553)

Mark the following thread_nt.h functions as static:

* AllocNonRecursiveMutex()
* FreeNonRecursiveMutex()
* EnterNonRecursiveMutex()
* LeaveNonRecursiveMutex()

bpo-41299: Fix EnterNonRecursiveMutex() (GH-28548)

Remove Py_FatalError() call: the code works even if now is negative.

bpo-41299: QueryPerformanceFrequency() cannot fail (GH-28552)

py_win_perf_counter_frequency() no longer checks for
QueryPerformanceFrequency() failure. According to the
QueryPerformanceFrequency() documentation, the function can no longer
fails since Windows XP.

bpo-45020: Fix some corner cases for frozen module generation. (gh-28538)

This also includes some cleanup in preparation for a PR to make the "make all" output less noisy.

https://bugs.python.org/issue45020

bpo-44019: Add missing comma to operator.call doc (GH-28551)

bpo-44019: Implement operator.call(). (GH-27888)

Having `operator.call(obj, arg)` mean `type(obj).__call__(obj, arg)` is
consistent with the other dunder operators.  The semantics with `*args,
**kwargs` then follow naturally from the single-arg semantics.

bpo-20524: adds better error message for `.format()` (GH-28310)

It now lists the bad format_spec and the type of the object.

bpo-30951: Correct co_names docstring in inspect module (GH-2743)

bpo-38623: Add note about site module (site-packages) (GH-16974)

bpo-39359: [zipfile] add missing "pwd: expected bytes, got str" exception (GH-18031)

bpo-38415: Allow using @asynccontextmanager-made ctx managers as decorators (GH-16667)

[docs] Update documentation for `multiprocessing.get_start_method` (GH-18170)

Fix legacy logging module URL (GH-28528)

The URL listed in the `logging` docs for the original `logging` module leads to a 404. I managed to find the new location for the page and updated the URL.

Automerge-Triggered-By: GH:vsajip

bpo-43760: Document PyThreadState.use_tracing removal (GH-28527)

bpo-41137: Reorganize What's New in Python 3.11 (GH-28518)

* Merge the two Removed sections.
* Move "Build Changes" at the end, before "C API Changes".
* Move the pdb change in Porting to Python 3.11.
* Move C API new features in their section.

bpo-39549: reprlib.Repr uses a “fillvalue” attribute (GH-18343)

bpo-41203: Replace Mac OS X and OS X with macOS (GH-28515)

Replace old names when they refer to actual versions of macOS.
Keep historical names in references to older versions.

Co-authored-by: Patrick Reader <_@pxeger.com>

bpo-45238: Fix unittest.IsolatedAsyncioTestCase.debug() (GH-28449)

It runs now asynchronous methods and callbacks.

If it fails, doCleanups() can be called for cleaning up.

bpo-21302: time.sleep() uses waitable timer on Windows (GH-28483)

On Windows, time.sleep() now uses a waitable timer which has a
resolution of 100 ns (10^-7 sec). Previously, it had a solution of 1
ms (10^-3 sec).

* On Windows, time.sleep() now calls PyErr_CheckSignals() before
  resetting the SIGINT event.
* Add _PyTime_As100Nanoseconds() function.
* Complete and update time.sleep() documentation.

Co-authored-by: Livius <egyszeregy@freemail.hu>

bpo-45061: Revert unicode_is_singleton() change (GH-28516)

Don't use a loop over 256 items, only checks for a single singleton.

[codemod] Fix non-matching bracket pairs (GH-28473)

Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>

[tests] Add missing assert against expected tracebacks in test_exceptions.py (GH-28484)

bpo-45234: Fix FileNotFound exception raised instead of IsADirectoryError in shutil.copyfile() (GH-28421)

This was a regression from fixing BPO-43219.

bpo-45061: Detect refcount bug on empty string singleton (GH-28504)

Detect refcount bugs in C extensions when the empty Unicode string
singleton is destroyed by mistake.

* Move forward declarations to the top of unicodeobject.c.
* Simplifiy unicode_is_singleton().

bpo-45216: Remove extraneous method docs from `difflib` (GH-28445)

bpo-45061: Detect refcount bug on empty tuple singleton (GH-28503)

Detect refcount bugs in C extensions when the empty tuple singleton
is destroyed by mistake.

Add the _Py_FatalRefcountErrorFunc() function.

bpo-45209: fix `UserWarning: resource_tracker` in test_multiprocessing (GH-28377)

bpo-24076: Fix reference in sum() introduced by GH-28469 (GH-28493)

bpo-45246: Document that sorted() only uses "<" comparisons (GH-28494)

bpo-45200: Ignore test_multiprocessing_* in ASAN build due to false positives (GH-28492)

bpo-44958: Fix ref. leak introduced in GH-27844 (GH-28490)

Modify managed_connect() helper to support in-memory databases. Use it
for the regression tests added in GH-27844.

Automerge-Triggered-By: GH:pablogsal

bpo-44958: Only reset `sqlite3` statements when needed (GH-27844)

bpo-24076: Inline single digit unpacking in the integer fastpath of sum() (GH-28469)

bpo-45021: Fix a hang in forked children (GH-28007)

_global_shutdown_lock should be reinitialized in forked children

bpo-45155: Apply new byteorder default values for int.to/from_bytes (GH-28465)

bpo-44848: Update Windows installer to use SQLite 3.36.0 (GH-27622)

bpo-45229: Make pickle tests discoverable (GH-28467)

bpo-1514420: Do not attempt to open files with names in <>s when formatting an exception (GH-28143)

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-40497: Fix handling of check in subprocess.check_output() (GH-19897)

Co-authored-by: Tal Einat <taleinat@gmail.com>
Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-45055: Add retry when downloading externals on Windows (GH-28399)

Co-authored-by: Łukasz Langa <lukasz@langa.pl>

bpo-45229: Use doctest.DocTestSuite instead of run_doctest (GH-28468)

Alo use load_tests() for adding tests.

bpo-40413: test_embed tests calling Py_RunMain() multiple times (GH-28466)

Calling Py_InitializeFromConfig()+Py_RunMain() multiple times must
not crash.

Cleanup also test_get_argc_argv().

Docs: Clarify the before_and_after() example (GH-28458)

bpo-45041: Simplify `sqlite3.Cursor.executescript()` (GH-28020)

bpo-45040: Simplify sqlite3 transaction control functions (GH-28019)

bpo-45128: fixes `test_multiprocessing_fork` mysterious crash (GH-28387)

bpo-30637: Improve the docs of ast.parse regarding differences with compile() (GH-28459)

Clean up initialization __class_getitem__ with Py_GenericAlias. (GH-28450)

The cast to PyCFunction is redundant. Overuse of redundant casts
can hide actual bugs.

bpo-45229: Fix setUpModule in test_ssl (GH-28454)

bpo-45229: Remove test_main in many tests (GH-28405)

Instead of explicitly enumerate test classes for run_unittest()
use the unittest ability to discover tests. This also makes these
tests discoverable and runnable with unittest.

load_tests() can be used for dynamic generating tests and adding
doctests. setUpModule(), tearDownModule() and addModuleCleanup()
can be used for running code before and after all module tests.

bpo-30856: Update TestResult early, without buffering in _Outcome (GH-28180)

TestResult methods addFailure(), addError(), addSkip() and
addSubTest() are now called immediately after raising an exception
in test or finishing a subtest.  Previously they were called only
after finishing the test clean up.

bpo-36674: Honour the skipping decorators in TestCase.debug() (GH-28446)

unittest.TestCase.debug() raises now a SkipTest if the class or
the test method are decorated with the skipping decorator.

Previously it only raised a SkipTest if the test method was decorated
with other decorator in addition to the skipping decorator, or
if SkipTest was explicitly raised in the test or setup methods.

bpo-45198: __set_name__ documentation not clear about its usage with non-descriptor classes (GH-28439)