gh-106922: Fix error location for constructs with spaces and parentheses (#108959)

gh-109140: Rename duplicated tests in `test_binascii` (#109141)

gh-104690: thread_run() checks for tstate dangling pointer (#109056)

thread_run() of _threadmodule.c now calls
_PyThreadState_CheckConsistency() to check if tstate is a dangling
pointer when Python is built in debug mode.

Rename ceval_gil.c is_tstate_valid() to
_PyThreadState_CheckConsistency() to reuse it in _threadmodule.c.

GH-91079: Rename C_RECURSION_LIMIT to Py_C_RECURSION_LIMIT (#108507)

Symbols of the C API should be prefixed by "Py_" to avoid conflict
with existing names in 3rd party C extensions on "#include <Python.h>".

test.pythoninfo now logs Py_C_RECURSION_LIMIT constant and other
_testcapi and _testinternalcapi constants.

GH-108716: Turn off deep-freezing of code objects. (GH-108722)

Update `CODEOWNERS` for `Tools/wasm/` (#109119)

gh-109022: [Enum] require `names=()` to create empty enum type (GH-109048)

add guard so that ``Enum('bar')`` raises a TypeError instead of
creating a new enum class called `bar`.  To create the new but
empty class, use:

    huh = Enum('bar', names=())

Use unittest test runner for doctests in test_statistics (GH-108921)

Add version directives to ast docs (#108788)

gh-68403: Fix test_coverage in test_trace (GH-108910)

Its behavior no longer affected by test running options such as -m.

gh-75743: Restore test_timeout.testConnectTimeout() (#109087)

This un-skips this test now that pythontest.net implements appropriate firewall
rules for it.

gh-103186: Make test_generated_cases less noisy by default (GH-109100)

Print additional details only when tests are run with -vv.

gh-109094: remove unnecessary updates of frame->prev_instr in instrumentation functions (#109076)

gh-107924: re-order os.sendfile() flag documentation (#107926)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-108732: include comprehension locals in frame.f_locals (#109026)

Co-authored-by: Radislav Chugunov <52372310+chgnrdv@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>

gh-102823: Document return type of floor division on floats (#102824)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-88943: Improve syntax error for non-ASCII character that follows a numerical literal (GH-109081)

It now points on the invalid non-ASCII character, not on the valid numerical literal.

gh-107544: Add docs about `json.dumps(..., default=)` (#108259)

gh-71770: Add more details on behavior of configparser's default_section (#31562)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

GH-108614: Add `RESUME_CHECK` instruction (GH-108630)

gh-103186: Suppress RuntimeWarning about unclosed async iterator in test_sys_settrace (GH-109075)

gh-103186: Remove debug print in test_sys_settrace (GH-109077)

GH-90915: Document that SystemExit doesn't trigger sys.excepthook (#31357)

Co-authored-by: Kumar Aditya <59607654+kumaraditya303@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

socket documentation fix - rename triple to 3-tuple (#24722)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

bpo-38157: Add example about per file output for mock_open. (#16090)

Co-authored-by: Stanley <46876382+slateny@users.noreply.github.com>
Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-103186: Suppress and assert expected RuntimeWarnings in test_sys_settrace (GH-103244)

Caused as a result of frame manipulation where locals are never assigned / initialised.

test.pythoninfo logs freedesktop_os_release() (#109057)

gh-108915: Removes extra backslashes in str.split docstring (#109044)

gh-108753: _Py_PrintSpecializationStats() uses Py_hexdigits (#109040)

gh-109045: Remove remaining LIMITED_API_AVAILABLE checks in tests (#109046)

Commit 13a00078b81776b23b0b6add69b848382240d1f2 (#108663) made all
Python builds compatible with the Limited API, and removed the
LIMITED_API_AVAILABLE flag.  However, some tests were still checking
for that flag, so they were now being incorrectly skipped.  Remove
these checks to let these tests run again.

Signed-off-by: Anders Kaseorg <andersk@mit.edu>

gh-107265: Remove all ENTER_EXECUTOR when execute _Py_Instrument (gh-108539)

gh-107211: No longer export internal _PyLong_FromUid() (#109037)

No longer export _PyLong_FromUid() and _Py_Sigset_Converter()
internal C API function.

gh-109015: Add test.support.socket_helper.tcp_blackhole() (#109016)

Skip test_asyncio, test_imaplib and test_socket tests if FreeBSD TCP
blackhole is enabled (net.inet.tcp.blackhole=2).

Docs: Fix typo in datetime.tzinfo docstring (#107257)

Co-authored-by: Paul Ganssle <1377457+pganssle@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

GH-108202: Document ``calendar``'s command-line interface (#109020)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

GH-104584: Restore frame->stacktop on optimizer error (GH-108953)

gh-108751: Add copy.replace() function (GH-108752)

It creates a modified copy of an object by calling the object's
__replace__() method.

It is a generalization of dataclasses.replace(), named tuple's _replace()
method and replace() methods in various classes, and supports all these
stdlib classes.

gh-107732: Mention dir support in importlib.resources docs (#107734)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

GH-90690: Mention removal of ``PRECALL`` in What's New (#103910)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-106307: Fix PyMapping_GetOptionalItemString() (GH-108797)

The resulting pointer was not set to NULL if the creation of a temporary
string object was failed.

The tests were also missed due to oversight.

C API tests: use special markers to test that output parameters were set (GH-109014)

gh-108740: Fix "make regen-all" race condition (#108741)

Fix a race condition in "make regen-all". The deepfreeze.c source and
files generated by Argument Clinic are now generated or updated
before generating "global objects". Previously, some identifiers may
miss depending on the order in which these files were generated.

* "make regen-global-objects": Make sure that deepfreeze.c is
  generated and up to date, and always run "make clinic".
* "make clinic" no longer runs generate_global_objects.py script.
* "make regen-deepfreeze" now only updates deepfreeze.c (C file).
  It doesn't build deepfreeze.o (object) anymore.
* Remove misleading messages in "make regen-global-objects" and
  "make clinic". They are now outdated, these commands are now
  safe to use.
* Document generates files in Doc/using/configure.rst.

Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-108753: Enhance pystats (#108754)

Statistics gathering is now off by default. Use the "-X pystats"
command line option or set the new PYTHONSTATS environment variable
to 1 to turn statistics gathering on at Python startup.

Statistics are no longer dumped at exit if statistics gathering was
off or statistics have been cleared.

Changes:

* Add PYTHONSTATS environment variable.
* sys._stats_dump() now returns False if statistics are not dumped
  because they are all equal to zero.
* Add PyConfig._pystats member.
* Add tests on sys functions and on setting PyConfig._pystats to 1.
* Add Include/cpython/pystats.h and Include/internal/pycore_pystats.h
  header files.
* Rename '_py_stats' variable to '_Py_stats'.
* Exclude Include/cpython/pystats.h from the Py_LIMITED_API.
* Move pystats.h include from object.h to Python.h.
* Add _Py_StatsOn() and _Py_StatsOff() functions. Remove
  '_py_stats_struct' variable from the API: make it static in
  specialize.c.
* Document API in Include/pystats.h and Include/cpython/pystats.h.
* Complete pystats documentation in Doc/using/configure.rst.
* Don't write "all zeros" stats: if _stats_off() and _stats_clear()
  or _stats_dump() were called.
* _PyEval_Fini() now always call _Py_PrintSpecializationStats() which
  does nothing if stats are all zeros.

Co-authored-by: Michael Droettboom <mdboom@gmail.com>

gh-108851: Fix tomllib recursion tests (#108853)

* Add get_recursion_available() and get_recursion_depth() functions
  to the test.support module.
* Change infinite_recursion() default max_depth from 75 to 100.
* Fix test_tomllib recursion tests for WASI buildbots: reduce the
  recursion limit and compute the maximum nested array/dict depending
  on the current available recursion limit.
* test.pythoninfo logs sys.getrecursionlimit().
* Enhance test_sys tests on sys.getrecursionlimit()
  and sys.setrecursionlimit().

gh-91960: Add FreeBSD build and test using Cirrus-CI (#91961)

Cirrus-CI is a hosted CI service that supports FreeBSD, Linux, macOS,
and Windows.  Add a .cirrus.yml configuration file to provide CI coverage
on pull requests for FreeBSD 13.2.

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-109002: Ensure only one wheel for each vendored package (#109003)

Output with one wheel:
```
❯ GITHUB_ACTIONS=true ./Tools/build/verify_ensurepip_wheels.py
Verifying checksum for /Volumes/RAMDisk/cpython/Lib/ensurepip/_bundled/pip-23.2.1-py3-none-any.whl.
Expected digest: 7ccf472345f20d35bdc9d1841ff5f313260c2c33fe417f48c30ac46cccabf5be
Actual digest:   7ccf472345f20d35bdc9d1841ff5f313260c2c33fe417f48c30ac46cccabf5be
::notice file=/Volumes/RAMDisk/cpython/Lib/ensurepip/_bundled/pip-23.2.1-py3-none-any.whl::Successfully verified the checksum of the pip wheel.
```

Output with two wheels:
```
❯ GITHUB_ACTIONS=true ./Tools/build/verify_ensurepip_wheels.py
::error file=/Volumes/RAMDisk/cpython/Lib/ensurepip/_bundled/pip-22.0.4-py3-none-any.whl::Found more than one wheel for package pip.

::error file=/Volumes/RAMDisk/cpython/Lib/ensurepip/_bundled/pip-23.2.1-py3-none-any.whl::Found more than one wheel for package pip.
```

Output without wheels:
```
❯ GITHUB_ACTIONS=true ./Tools/build/verify_ensurepip_wheels.py
::error file=::Could not find a pip wheel on disk.
```

gh-91960: Skip test_gdb if gdb cannot retrive Python frames (#108999)

Skip test_gdb if gdb is unable to retrieve Python frame objects: if a
frame is "<optimized out>". When Python is built with "clang -Og",
gdb can fail to retrive the 'frame' parameter of
_PyEval_EvalFrameDefault(). In this case, tests like py_bt() are
likely to fail. Without getting access to Python frames,
python-gdb.py is mostly clueless on retrieving the Python traceback.
Moreover, test_gdb is no longer skipped on macOS if Python is built
with Clang.

gh-107219: Fix concurrent.futures terminate_broken() (#108974)

Fix a race condition in _ExecutorManagerThread.terminate_broken():
ignore the InvalidStateError on future.set_exception(). It can happen
if the future is cancelled before the caller.

Moreover, test_crash_big_data() now waits explicitly until the
executor completes.

gh-108765: Cleanup #include in Python/*.c files (#108977)

Mention one symbol imported by each #include.

gh-108303: Create Lib/test/test_dataclasses/ directory (#108978)

Move test_dataclasses.py and its "dataclass_*.py" modules into the
new Lib/test/test_dataclasses/ subdirectory.

gh-108983: Add more PEP 526 tests to `test_grammar` (#108984)

gh-108991: replace _PyFrame_GetState by two simpler functions (#108992)

gh-106670: Fix Pdb handling of chained Exceptions with no stacks. (#108865)

Fix a typo in umarshal.py (#108803)

Co-authored-by: Kumar Aditya <kumaraditya@python.org>

gh-108717: Speedup `os.DirEntry.is_junction` function (#108718)

gh-108857: improve markup in inspect.Signature.replace() docs (#108862)

gh-108962: Skip test_tempfile.test_flags() if not supported (#108964)

Skip test_tempfile.test_flags() if chflags() fails with "OSError:
[Errno 45] Operation not supported" (ex: on FreeBSD 13).

gh-106581: Support multiple uops pushing new values (#108895)

Also avoid the need for the awkward .clone() call in the argument
to mgr.adjust_inverse() and mgr.adjust().

gh-108469: Update ast.unparse for unescaped quote support from PEP701 [3.12] (#108553)

Co-authored-by: sunmy2019 <59365878+sunmy2019@users.noreply.github.com>

gh-107755: Document the correct default value of slice step (GH-107756)

Document the correct default value of slice step.

gh-108927: Fix test_import + test_importlib + test_unittest problem (#108929)

gh-107565: Update Windows build to use OpenSSL 3.0.10 (GH-108928)

Also clean up some intermediate NEWS entries about previous versions.

gh-108903: Remove unneeded `lambda`s from `asyncio` (GH-108904)

gh-108416: Mark slow but not CPU bound test methods with requires_resource('walltime') (GH-108480)

gh-89392: Use unittest test runner for doctests in test_getopt (GH-108916)

gh-89392: Use normal unittest runner in test_type_cache (GH-108911)

Add missed "f" in an f-string (GH-108906)

GH-103082: Document PEP-669: Low Impact Monitoring for CPython (GH-107772)

gh-108840: Remove unused `TestEnumTypeSubclassing` from `test_enum` (#108841)

gh-108294: Add error handling for time.sleep audit event (GH-108363)

I've also cleaned the tests up a bit to make this easier to test.

Improve the GitHub issue forms (#108881)

GH-108390: Prevent non-local events being set with `sys.monitoring.set_local_events()` (GH-108420)

gh-89392: Remove support of test_main() in libregrtest (GH-108876)

gh-108834: regrtest --fail-rerun exits with code 5 (#108896)

When the --fail-rerun option is used and a test fails and then pass,
regrtest now uses exit code 5 ("rerun) instead of 2 ("bad test").

gh-106320: Remove private _PyErr_WriteUnraisableMsg() (#108863)

Move the private _PyErr_WriteUnraisableMsg() functions to the
internal C API (pycore_pyerrors.h).

Move write_unraisable_exc() from _testcapi to _testinternalcapi.

gh-108463: Make expressions/statements work as expected in pdb (#108464)

Link to PEP sections in What's New in 3.12 (#108878)

CI: Bump GitHub Actions (#108879)

Disable `differing_test_runners` health check (#108886)

gh-107902: Don't test setting suid/sgid on systems that don't support them (GH-108368)

gh-89392: Fix running test_pep646_syntax as script (GH-108875)

GH-108614: Remove `TIER_ONE` and `TIER_TWO` from `_PUSH_FRAME` (GH-108725)

bpo-45229: Make ElementTree tests discoverable (GH-108859)

gh-89392: Make test_pep646_syntax discoverable (GH-108861)

gh-89392: Remove test_main() in test_netrc (GH-108860)

Revert "gh-46376: Return existing pointer when possible in ctypes (#1… (#108688)

This reverts commit 08447b5deb47e2a0df87fa0a0576d300e5c909b4.

Revert also _ctypes.c changes of the PyDict_ContainsString() change,
commit 67266266469fe0e817736227f39537182534c1a5.

gh-108765: Move export code from pyport.h to exports.h (#108855)

There is no API change, since pyport.h includes exports.h.

gh-108834: regrtest reruns failed tests in subprocesses (#108839)

When using --rerun option, regrtest now re-runs failed tests
in verbose mode in fresh worker processes to have more
deterministic behavior. So it can write its final report even
if a test killed a worker progress.

Add --fail-rerun option to regrtest: exit with non-zero exit code
if a test failed pass passed when re-run in verbose mode (in a
fresh process). That's now more useful since tests can pass
when re-run in a fresh worker progress, whereas they failed
when run after other tests when tests are run sequentially.

Rename --verbose2 option (-w) to --rerun. Keep --verbose2 as a
deprecated alias.

Changes:

* Fix and enhance statistics in regrtest summary. Add "(filtered)"
  when --match and/or --ignore options are used.
* Add RunTests class.
* Add TestResult.get_rerun_match_tests() method
* Rewrite code to serialize/deserialize worker arguments as JSON
  using a new WorkerJob class.
* Fix stats when a test is run with --forever --rerun.
* If failed test names cannot be parsed, log a warning and don't
  filter tests.
* test_regrtest.test_rerun_success() now uses a marker file, since
  the test is re-run in a separated process.
* Add tests on normalize_test_name() function.
* Add test_success() and test_skip() tests to test_regrtest.

gh-108765: Move stat() fiddling from pyport.h to fileutils.h (#108854)

Update Lib/test/test_unittest/testmock/testmock.py: fix typo RuntimError to RuntimeError (#108847)

gh-108765: Python.h no longer includes <ctype.h> (#108831)

Remove <ctype.h> in C files which don't use it; only sre.c and
_decimal.c still use it.

Remove _PY_PORT_CTYPE_UTF8_ISSUE code from pyport.h:

* Code added by commit b5047fd01948ab108edcc1b3c2c901d915814cfd
  in 2004 for MacOSX and FreeBSD.
* Test removed by commit 52ddaefb6bab1a74ecffe8519c02735794ebfbe1
  in 2007, since Python str type now uses locale independent
  functions like Py_ISALPHA() and Py_TOLOWER() and the Unicode
  database.

Modules/_sre/sre.c replaces _PY_PORT_CTYPE_UTF8_ISSUE with new
functions: sre_isalnum(), sre_tolower(), sre_toupper().

Remove unused includes:

* _localemodule.c: remove <stdio.h>.
* getargs.c: remove <float.h>.
* dynload_win.c: remove <direct.h>, it no longer calls _getcwd()
  since commit fb1f68ed7cc1536482d1debd70a53c5442135fe2 (in 2001).

gh-108494: Argument Clinic: inline parsing code for positional-only parameters in the limited C API (GH-108622)

Fix duplicated words 'Be be' (GH-108815)

Reorder some test's decorators (GH-108804)

For example, do not demand the 'cpu' resource if the test cannot be run
due to non-working threads.

gh-102837: improve test coverage for math module (#102523)

- input checks for math_1(L989), math_1a(L1023), math_2(L1064,L1071), hypot(L2682), log(L2307), ldexp(L2168), ceil(L1165), floor(L1236,L1239) and dist(L2587,L2588,L2628).
- drop inaccessible "if" branch (L3518) in perm_comb_small()
- improve fsum coverage for exceptional cases (L1433,L1438,L1451,L1497), ditto fmod(L2378)
- rewrite modf to fix inaccessible case(L2229), ditto for pow(L2988)

(all line numbers are wrt the main branch at 5e6661bce9)

gh-107208: Fix iter_index() recipe to not swallow exceptions (gh-108835)

gh-107208: iter_index now supports "stop" and no longer swallows ValueError

gh-108765: pystrhex: Replace stdlib.h abs() with Py_ABS() (#108830)

gh-108374: Add --disable-gil option to PCbuild/build.bat (#108729)

This adds a `--disable-gil` option to PCbuild/build.bat. For now, all
this does is define the Py_NOGIL macro.

gh-108765: include <unistd.h> in termios.c on Solaris (#108825)

gh-63760: Don't declare gethostname() on Solaris (#108817)

Since 2005, Solaris defines gethostname(). socketmodule.c no longer
has to define gethostname() for Solaris.

Oracle Solaris and OpenSolaris have patches to remove the
gethostname() definition in Python:

* https://github.com/oracle/solaris-userland/blob/master/components/python/python37/patches/15-gethostname.patch
* https://github.com/OpenIndiana/oi-userland/blob/oi/hipster/components/python/python37/patches/15-gethostname.patch
* https://github.com/omniosorg/omnios-build/blob/master/build/python27/patches/24-gethostname.patch

Co-authored-by: Jakub Kulík <Kulikjak@gmail.com>