gh-108634: Py_TRACE_REFS uses a hash table (#108663)

Python built with "configure --with-trace-refs" (tracing references)
is now ABI compatible with Python release build and debug build.
Moreover, it now also supports the Limited API.

Change Py_TRACE_REFS build:

* Remove _PyObject_EXTRA_INIT macro.
* The PyObject structure no longer has two extra members (_ob_prev
  and _ob_next).
* Use a hash table (_Py_hashtable_t) to trace references (all
  objects): PyInterpreterState.object_state.refchain.
* Py_TRACE_REFS build is now ABI compatible with release build and
  debug build.
* Limited C API extensions can now be built with Py_TRACE_REFS:
  xxlimited, xxlimited_35, _testclinic_limited.
* No longer rename PyModule_Create2() and PyModule_FromDefAndSpec2()
  functions to PyModule_Create2TraceRefs() and
  PyModule_FromDefAndSpec2TraceRefs().
* _Py_PrintReferenceAddresses() is now called before
  finalize_interp_delete() which deletes the refchain hash table.
* test_tracemalloc find_trace() now also filters by size to ignore
  the memory allocated by _PyRefchain_Trace().

Test changes for Py_TRACE_REFS:

* Add test.support.Py_TRACE_REFS constant.
* Add test_sys.test_getobjects() to test sys.getobjects() function.
* test_exceptions skips test_recursion_normalizing_with_no_memory()
  and test_memory_error_in_PyErr_PrintEx() if Python is built with
  Py_TRACE_REFS.
* test_repl skips test_no_memory().
* test_capi skisp test_set_nomemory().

gh-97850: Note in py312 whatsnew that `importlib.util.set_loader` and `importlib.util.module_for_loader` have been removed (#108719)

Note in py312 whatsnew that `importlib.util.set_loader` and `importlib.util.module_for_loader` have been removed

gh-106320: winconsoleio.c includes pycore_pyerrors.h (#108720)

Fix compiler warning:

    warning C4013: '_PyErr_ChainExceptions1' undefined

Run make regen-global-objects (#108714)

gh-106320: Remove private _PyErr_ChainExceptions() (#108713)

Remove _PyErr_ChainExceptions(), _PyErr_ChainExceptions1() and
_PyErr_SetFromPyStatus() functions from the public C API.

* Move the private _PyErr_ChainExceptions() and
  _PyErr_ChainExceptions1() function to the internal C API
  (pycore_pyerrors.h).
* Move the private _PyErr_SetFromPyStatus() to the internal C API
  (pycore_initconfig.h).
* No longer export the _PyErr_ChainExceptions() function.
* Move run_in_subinterp_with_config() from _testcapi to
  _testinternalcapi.

GH-108614: Remove non-debug uses of `#if TIER_ONE` and `#if TIER_TWO` from `_POP_FRAME` op. (GH-108685)

gh-106320: Don't export _Py_ForgetReference() function (#108712)

There is no need to export the _Py_ForgetReference() function of the
Py_TRACE_REFS build. It's not used by shared extensions. Enhance also
its comment.

gh-107149: Make PyUnstable_ExecutableKinds public (#108440)

Move PyUnstable_ExecutableKinds and associated macros from the
internal C API to the public C API.

Rename constants: replace "PY_" prefix with "PyUnstable_" prefix.

gh-108455: peg_generator: use `types-setuptools==68.1.0.1` in CI (#108697)

gh-101100: Fix sphinx warnings in `threading.rst` (#108684)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-108696: revert bypassing import cache in test_import helper (#108698)

gh-108654: restore comprehension locals before handling exception (#108659)

Co-authored-by: Dong-hee Na <donghee.na92@gmail.com>

gh-108297: Remove test_crashers (#108690)

The test was skipped in 2011 by
commit 89ba56d5fb1335ef808b87cd33cba95ea141c65d.

Scripts in Lib/test/crashers/ do not crash on a reliable way. They
rely on undefined behaviors, like state of the stack memory, and so
may or may not crash. It is not worth it to make sure that they crash
in a continious integration, they should be run manually time to time
instead.

gh-108520: Fix bad fork detection in nested multiprocessing use case (#108568)

gh-107275 introduced a regression where a SemLock would fail being passed along nested child processes, as the `is_fork_ctx` attribute would be left missing after the first deserialization.

---------

Co-authored-by: blurb-it[bot] <43283697+blurb-it[bot]@users.noreply.github.com>
Co-authored-by: Antoine Pitrou <pitrou@free.fr>

gh-108590: Revert gh-108657 (commit 400a1cebc) (#108686)

Reverted per Serhiy's request.

gh-108494: Argument Clinic: Document how to generate code that uses the limited C API (#108584)

Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>
Co-authored-by: Erlend E. Aasland <erlend.aasland@protonmail.com>

Document Python build requirements (#108646)

Co-authored-by: Erlend E. Aasland <erlend@python.org>
Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-101100: Fix Sphinx warnings in the Logging Cookbook (#108678)

Fix typo in multiprocessing docs (#108666)

gh-108669: unittest: Fix documentation for TestResult.collectedDurations (#108670)

gh-108590: Fix sqlite3.iterdump for invalid Unicode in TEXT columns (#108657)

Co-authored-by: Erlend E. Aasland <erlend@python.org>

Revert "gh-103224: Use the realpath of the Python executable in `test_venv` (GH-103243)" (GH-108667)

This reverts commit 85b0b0cd947c5218260fb2bc2014c8c8de172d33.

It broke builtbots.

gh-106320: Remove private _Py_ForgetReference() (#108664)

Move the private _Py_ForgetReference() function to the internal C API
(pycore_object.h).

Mention Ellipsis pickling in the docs (#103660)

Revert "Use non alternate name for Kyiv (GH-108533)" (GH-108649)

This reverts commit 7659128b9d7a30ddbcb063bc12e2ddb0f1f119e0.

It broke tests on the Debian and macOS buildbots.

gh-108278: Deprecate passing the first param of sqlite3.Connection callback APIs by keyword (#108632)

Deprecate passing the callback callable by keyword for the following
sqlite3.Connection APIs:

- set_authorizer(authorizer_callback)
- set_progress_handler(progress_handler, ...)
- set_trace_callback(trace_callback)

The affected parameters will become positional-only in Python 3.15.

gh-108455: peg_generator: install two stubs packages before running mypy (#108637)

gh-107801: Improve the accuracy of io.IOBase.seek docs (#108268)

- Add param docstrings
- Link to os.SEEK_* constants
- Mention the return value in the initial paragraph

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-108488: Initialize JUMP_BACKWARD cache to 0, not 17 (#108591)

This mis-initialization caused the executor optimization to kick in sooner than intended. It also set the lower 4 bits of the counter to `1` -- those bits are supposed to be reserved (the actual counter is in the upper 12 bits).

gh-107557: Remove unnecessary SAVE_IP instructions (#108583)

Also remove NOP instructions.

The "stubs" are not optimized in this fashion (their SAVE_IP should always be preserved since it's where to jump next, and they don't contain NOPs by their nature).

test_sys: remove debug print() (#108642)

gh-108638: Fix stat.filemode() when _stat is missing (#108639)

Change the pure Python implementation of stat.filemode() for unknown
file type: use "?", as done by the _stat.filemode().

test_stat skips TestFilemodeCStat if the _stat extension is missing.

Use non alternate name for Kyiv (GH-108533)

tzdata provides Kiev as an alternative to Kyiv:

https://sources.debian.org/src/tzdata/2023c-10/backward/?hl=314#L314

But Debian moved it to the tzdata-legacy package breaking the test:

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=1050530

This patch switches to the name provided by tzdata.

gh-108635: Make parameters of some implementations of special methods positional-only (GH-108636)

gh-108455: peg generator: Use `strict_optional=True` for `grammar_parser` (#108629)

gh-108623: Fix compile warning in `Modules/_multiprocessing/semaphore.c` (#108624)

gh-108494: Don't build _testclinic_limited with TraceRefs (#108608)

If Python is built with ./configure --with-trace-refs, don't build
the _testclinic_limited extension. The limited C API (Py_LIMITED_API)
is not compatible with Py_TRACE_REFS.

gh-108494: Argument Clinic: fix option group for Limited C API (#108574)

Use PyTuple_Size() instead of PyTuple_GET_SIZE().

gh-108455: peg_generator: make the mypy config slightly stricter (#108627)

* Enable `--no-implicit-reexport`

* Enable the `truthy-bool` error code

* Enable the `ignore-without-code` error code

* Explicitly note that `--warn-unreachable` cannot yet be enabled

gh-108455: Simplify the peg_generator mypy config (#108620)

make it easier to see exactly which options from mypy's `--strict` mode can't currently be enabled

gh-108617: Extend interactive session tests for sqlite3 (GH-108556)

gh-108550: Fix sqlite3 CLI regression from gh-108551 (#108618)

gh-108558: Improve sqlite3 row factory tests (#108578)

Add test_sqlite_row_keys() to explicitly test sqlite3.Row.keys().

Cleanups:
- Reduce test noise by converting docstrings to regular comments
- Reduce boilerplate code by adding a setUp() method to RowFactoryTests

Co-authored-by: Erlend E. Aasland <erlend@python.org>

GH-106176, GH-104702: Fix reference leak when importing across multiple threads (#108497)

gh-106320: Fix test_peg_generator: _Py_UniversalNewlineFgetsWithSize() (#108609)

Fix test_peg_generator by exporting the
_Py_UniversalNewlineFgetsWithSize() function.

gh-106320: Remove private _PyObject_GetState() (#108606)

Move the private _PyObject_GetState() function to the internal C API
(pycore_object.h).

gh-106320: Remove private _PyOS_IsMainThread() function (#108605)

Move the following private API to the internal C API
(pycore_signal.h): _PyOS_IsMainThread() and _PyOS_SigintEvent().

gh-106320: Remove private _PyErr_SetKeyError() (#108607)

Move the private _PyErr_SetKeyError() function to the internal C API
(pycore_pyerrors.h).

gh-106320: Remove private _PyLong_New() function (#108604)

Move the following private API to the internal C API (pycore_long.h):

* _PyLong_Copy()
* _PyLong_FromDigits()
* _PyLong_New()

No longer export most of these functions.

gh-106320: Remove private _PyGILState_GetInterpreterStateUnsafe() (#108603)

The remove private _PyGILState_GetInterpreterStateUnsafe() function
from the public C API: move it the internal C API (pycore_pystate.h).
No longer export the function.

gh-106320: Remove private _PyThread_at_fork_reinit() function (#108601)

Move the private function to the internal C API (pycore_pythread.h)
and no longer exports it.

gh-106320: Remove private _Py_UniversalNewlineFgetsWithSize() (#108602)

The remove private _Py_UniversalNewlineFgetsWithSize() function from
the public C API: move it the internal C API (pycore_fileutils.h).
No longer export the function.

gh-106320: Remove private pythonrun API (#108599)

Remove these private functions from the public C API:

* _PyRun_AnyFileObject()
* _PyRun_InteractiveLoopObject()
* _PyRun_SimpleFileObject()
* _Py_SourceAsString()

Move them to the internal C API: add a new pycore_pythonrun.h header
file. No longer export these functions.

gh-106320: Remove _PyAnextAwaitable_Type from the public C API (#108597)

It's not needed to declare it in Include/iterobject.h: just use
"extern" where it's used (only in object.c).

gh-108240: Add pycore_capsule.h internal header file (#108596)

Move _PyCapsule_SetTraverse() definition to a new internal header
file: pycore_capsule.h.

gh-106320: Remove private _Py_Identifier API (#108593)

Remove the private _Py_Identifier type and related private functions
from the public C API:

* _PyObject_GetAttrId()
* _PyObject_LookupSpecialId()
* _PyObject_SetAttrId()
* _PyType_LookupId()
* _Py_IDENTIFIER()
* _Py_static_string()
* _Py_static_string_init()

Move them to the internal C API: add a new pycore_identifier.h header
file. No longer export these functions.

Fix misc doc typos (#108592)

gh-108494: Build _testclinic_limited on Windows (#108589)

Add _testclinic_limited project to the Visual Studio solution:

* In "PCbuild/", copy "_asyncio.vcxproj" to "_testclinic_limited.vcxproj",
  replace "RootNamespace" with "_testclinic_limited", replace "_asyncio.c"
  with "_testclinic_limited.c".
* Open Visual Studio, open "PCbuild\pcbuild.sln", add the existing
  "PCbuild\_testclinic_limited.vcxproj" project to the solution.
* Add a dependency from "python" project to the "_testclinic_limited"
  project.
* Save and exit Visual Studio.
* Add ";_testclinic_limited" to "<TestModules Include="...">"
  in "PCbuild\pcbuild.proj".

gh-107149: Rename _PyUnstable_GetUnaryIntrinsicName() function (#108441)

* Rename _PyUnstable_GetUnaryIntrinsicName() to
  PyUnstable_GetUnaryIntrinsicName()
* Rename _PyUnstable_GetBinaryIntrinsicName()
  to PyUnstable_GetBinaryIntrinsicName().

GH-107603: Clinic: Pass specific attributes to ``print_block()`` (#108581)

gh-108455: Run `mypy` on `Tools/peg_generator` (#108456)

Co-authored-by: Hugo van Kemenade <hugovk@users.noreply.github.com>

gh-106670: Allow Pdb to move between chained exceptions (#106676)

gh-108494: Argument clinic: Improve the `parse_file()` API (#108575)

Co-authored-by: Victor Stinner <vstinner@python.org>

gh-108487: Move assert(self != NULL) down beyond DEOPT_IF() (#108510)

gh-108278: Deprecate passing the three first params as keyword args for sqlite3 UDF creation APIs (#108281)

Deprecate passing name, number of arguments, and the callable as keyword
arguments, for the following sqlite3.Connection APIs:

- create_function(name, nargs, callable, ...)
- create_aggregate(name, nargs, callable)

The affected parameters will become positional-only in Python 3.15.

gh-108494: Argument Clinic: fix support of Limited C API (GH-108536)

gh-104683: Argument Clinic: Refactor the module and class resolver (#108552)

gh-108550: Speed up sqlite3 tests (#108551)

Refactor the CLI so we can easily invoke it and mock command-line
arguments. Adapt the CLI tests so we no longer have to launch a
separate process.

Disable the busy handler for all concurrency tests; we have full
control over the order of the SQLite C API calls, so we can safely
do this.

The sqlite3 test suite now completes ~8 times faster than before.

Co-authored-by: Serhiy Storchaka <storchaka@gmail.com>

gh-64662: Fix NEWS entry and remove What's New entry (#108565)

Fix typo in typing docs: Remove redundant backtick (#108559)

GH-108202: Combine documentation of ``calendar`` constants (#108492)

gh-64662: Add virtual table support to sqlite3.Connection.iterdump (#108340)

Co-authored-by: Aviv Palivoda <palaviv@gmail.com>

gh-108465: Use compiler basename when determining compiler flags (#108392)

Note:
GNU Autoconf discourages the use of 'basename', and recommends 'expr' instead.

Co-authored-by: Erlend E. Aasland <erlend@python.org>

gh-107801: Document io.TextIOWrapper.tell (#108265)

gh-108542: Fix incorrect module name in NEWS entry for gh-105475 (#108543)

gh-108322: Optimize statistics.NormalDist.samples() (gh-108324)

Clarify distinction between datetime module and class in deprecation messages (GH-108073)

Fix grammatical error in stringprep documentation (#108414)

Remove the word "them", which didn't make grammatical sense.

Co-authored-by: KRAAI, MATTHEW [VISUS] <mkraai@its.jnj.com>

gh-105052:update timeit function's description (#105060)

---------
Co-authored-by: Terry Jan Reedy <tjreedy@udel.edu>

gh-107453: Document errno.{ECANCELED,EOWNERDEAD,ENOTRECOVERABLE,ENOTSUP} (#107486)

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>

gh-107265: Fix initialize/remove_tools for ENTER_EXECUTOR case (gh-108482)

gh-108295: Fix crashes with TypeVar weakrefs (#108517)

gh-107913: Fix possible losses of OSError error codes (GH-107930)

Functions like PyErr_SetFromErrno() and SetFromWindowsErr() should be
called immediately after using the C API which sets errno or the Windows
error code.

gh-107406: Add better `struct.Struct` repr (#107407)

gh-106320: Remove private AC converter functions (#108505)

Move these private functions to the internal C API
(pycore_abstract.h):

* _Py_convert_optional_to_ssize_t()
* _PyNumber_Index()

Argument Clinic now emits #include "pycore_abstract.h" when these
functions are used.

The parser of the c-analyzer tool now uses a list of files which use
the limited C API, rather than a list of files using the internal C
API.

gh-106320: Remove private _PyLong_FileDescriptor_Converter() (#108503)

Move the private _PyLong converter functions to the internal C API

* _PyLong_FileDescriptor_Converter(): moved to pycore_fileutils.h
* _PyLong_Size_t_Converter(): moved to pycore_long.h

Argument Clinic now emits includes for pycore_fileutils.h and
pycore_long.h when these functions are used.

gh-106320: Remove private _PyLong converter functions (#108499)

Move these private functions to the internal C API (pycore_long.h):

* _PyLong_UnsignedInt_Converter()
* _PyLong_UnsignedLongLong_Converter()
* _PyLong_UnsignedLong_Converter()
* _PyLong_UnsignedShort_Converter()

Argument Clinic now emits #include "pycore_long.h" when these
functions are used.

gh-108494: AC supports pos-only args in limited C API (#108498)

AC now checks for "#define Py_LIMITED_API" pattern to use the limited
C API.

gh-107603: Argument Clinic can emit includes (#108486)

* Add Clinic.add_include() method
* Add CConverter.include and CConverter.add_include()
* Printer.print_block() gets a second parameter: clinic.
* Remove duplicated declaration of "clinic" global variable.

gh-108494: Argument Clinic partial supports of Limited C API (#108495)

Argument Clinic now has a partial support of the
Limited API:

* Add --limited option to clinic.c.
* Add '_testclinic_limited' extension which is built with
  the limited C API version 3.13.
* For now, hardcode in clinic.py that "_testclinic_limited.c" targets
  the limited C API.

GH-106581: Fix instrumentation in tier 2 (GH-108493)

gh-107901: add the HAS_EVAL_BREAK instruction flag (#108375)

gh-104504: Cases generator: enable mypy's `possibly-undefined` error code (#108454)

gh-102211: Document `re.{Pattern,Match}`’s existence (#102212)

Co-authored-by: Jelle Zijlstra <jelle.zijlstra@gmail.com>
Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Alex Waygood <Alex.Waygood@Gmail.com>

gh-108311: Fix test_store_attr_with_hint by disabling optimizer in decorator (#108312)

See https://github.com/python/cpython/issues/108311#issuecomment-1693569380

---------

Co-authored-by: AlexWaygood <alex.waygood@gmail.com>

gh-107265: Revert "Ensure _PyCode_Quicken does not handle ENTER_EXECUTOR" (#108485)

This reverts commit d6ac5c7b105fe57266bd71248e3ada41fedb5ba9.

Reason: the assert we just added could be triggered (see issue).

gh-108364: Simplify quoting values and identifiers in sqlite3's iterdump() (#108472)

gh-107932: Fix merge conflict in test_dis (GH-108478)

Fix merge conflict in test_dis

Docs: Resolve Sphinx warnings in dis.rst (#108476)

- Link to the code objects reference
- Suppress link to deliberately undocumented builtins.__build_class__
- Suppress links for example methods

Datamodel: Add headings to the standard type hierarchy (#108146)

Dedent content according to the new layout.