gh-131865: Properly apply exported CFLAGS for dtrace/systemtap builds (#131866)

When using --with-dtrace the resulting object file could be missing
specific CFLAGS exported by the build system due to the systemtap
script using specific defaults.

Exporting the CC and CFLAGS variables before the dtrace invocation
allows us to properly apply CFLAGS exported by the build system
even when cross-compiling.

The fix does not affect the dtrace invocation on Solaris/macOS.

gh-107369: Optimise ``textwrap.indent()`` (#131923)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-131936: Strengthen check in `_suggestions._generate_suggestions` (#131945)

gh-105499: typing: Remove an unused function (#131946)

Leftover from #105511 I believe. GitHub code search found no usages other
than copies of typing.py and lists of stdlib functions.

GH-131296: Fix incompatible pointer type warning in _winapi.c (GH-131600)

GH-131296: Fix clang-cl warnings on Windows in sqlite3 (GH-131906)

GH-131296: Fix parenthesis warnings on Windows-specific code (GH-131905)

GH-131296: Fix clang-cl warning on Windows in liblzma (GH-131897)

Also removes warnings suppression for MSVC that no longer need to be suppressed.

Fix PEP number in `ast_opt.c` for new `finally` check (#131928)

gh-131525: Remove `_HashedSeq` wrapper from `lru_cache` (gh-131922)

GH-131498: Another refactoring of the code generator (GH-131827)

* Rename 'defined' attribute to 'in_local' to more accurately reflect how it is used

* Make death of variables explicit even for array variables.

* Convert in_memory from boolean to stack offset

* Don't apply liveness analyis to optimizer generated code

* Add 'out' parameter to stack.pop

gh-130843: expose 48-bit timestamp for UUIDv7 (#131838)

gh-126033: fix UAF in `xml.etree.ElementTree.Element.remove` when concurrent mutations happen (#126124)

gh-126037:  fix UAF in `xml.etree.ElementTree.Element.find*` when concurrent mutations happen (#127964)

We fix a use-after-free in the `find`, `findtext` and `findall` methods of `xml.etree.ElementTree.Element`
objects that can be triggered when the tag to find implements an `__eq__` method that mutates the
element being queried.

gh-130167: Optimise ``textwrap.dedent()`` (#131919)

Co-authored-by: Marius Juston <marius.juston@hotmail.fr>
Co-authored-by: Pieter Eendebak <pieter.eendebak@gmail.com>
Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

GH-131798: Remove type checks for _TO_BOOL_STR (GH-131816)

gh-131895: fix clang `$PATH` on Darwin runners for tail-calling interpreter (#131903)

Update cryptographic CODEOWNERS entry (#131892)

update cryptographic CODEOWNERS entry

gh-127794: Validate email header names according to RFC 5322 (#127820)

`email.message.Message` objects now validate header names specified via `__setitem__`
or `add_header` according to RFC 5322, §2.2 [1].

In particular, callers should expect a ValueError to be raised for invalid header names.

[1]: https://datatracker.ietf.org/doc/html/rfc5322#section-2.2

---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: R. David Murray <rdmurray@bitdance.com>

gh-131178: Update help message for `timeit` CLI (#131326)

gh-127945: mark `TestLocalization` as thread unsafe in ctypes (#131899)

gh-127945: acquire critical section around `PyCFuncPtr_call` (#131898)

gh-127945: make initialization of `error_object_name` thread safe in ctypes (#131896)

gh-127945: fix thread safety of creating instances of ctypes structures (#131716)

gh-131885: Document that `dict.setdefault` and `dict.get` take no keyword arguments (#128208)

gh-129994: update docs when using `dualstack_ipv6` in `socket.create_server` (#129996)

GH-129149: Add fast path for medium-sized integers in `PyLong_From*` functions (#131211)

Add a fast path for medium-sized integers in `PyLong_FromInt{32,64}` and `PyLong_FromUInt{32,64}`.

gh-130924: Do not create cells for usages of names in local annotations (#131843)

gh-131853: Fix test_msgfmt on big-endian platforms (GH-131879)

Use a generated .mo file instead of a checked in one.

gh-131853: Test binary header in msgfmt generated file (GH-131854)

gh-131050: skip `test_dh_params` when TLS library lacks FFDHE ciphersuites (#131051)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-127541: Update os.walk example (GH-127765)

Update os.walk example to be more modern, skip `__pycache__` dirs rather than `CVS` dirs.

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-131740: minor readability fix in PyUnstable_GC_VisitObjects (gh-131786)

Minor readability fix in PyUnstable_GC_VisitObjects

Replaces `if (visit_generation())` with `if (visit_generation() < 0)`,
since we are checking for the failure case, and it's confusing to have
that be implicitly `true`.

Also fixes a misspelt variable name.

gh-130373: Avoid locking in _LOAD_ATTR_WITH_HINT (#130372)

Avoid locking in _LOAD_ATTR_WITH_HINT

docs: -I also implies -P (#131539)

gh-131423: Update to OpenSSL 3.0.16. (GH-131839)

The bin tag is 3.0.16.1 because we rebuilt without uplink support to fix gh-131804.
This PR also prevents making calls that are now unsafe without uplink, and updates
the tests to property interpret these failures as unsupported.

GH-131678: fix Windows tail-call CI does not run the test cases (GH-131690)

gh-131807: fix ResourceWarning in test_ucn.py (#131808)

Co-authored-by: Victor Stinner <vstinner@python.org>

Use `assert*` comparison methods in `test_timer_comparison` (#129513)

gh-117174: Adapt `test_multiple_statements_fail_early` to new REPL behavior (follow-up gh-131065) (#131836)

Adapt test to new REPL behavior (follow-up gh-117174)

gh-128002: run all asyncio tests with tsan CI (#131797)

gh-131738: optimize builtin any/all/tuple calls with a generator expression arg (#131737)

gh-126835: Refine constant folding tests in `test_peepholer.py::TestTranforms` (#131826)

gh-131818: Add imply `-P` in `-I`'s help message (#131819)

gh-119180: Use equality when comparing against `annotationlib.Format` (#131755)

gh-128770: raise warnings as errors in test suite - except for test_socket which still logs warnings, and internal test warnings that are now logged (#128973)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

GH-130415: Remove redundant sym_matches_type calls in the JIT optimizer (GH-131778)

gh-128438: Use `EnvironmentVarGuard` for `datetimetester.py` to manage environment varibales (#130002)

gh-131178: Add tests for `tokenize` command-line interface (#131274)

gh-131525: Cache the result of tuple_hash (#131529)

* gh-131525: Cache the result of tuple_hash

* Fix debug builds

* Add blurb

* Fix formatting

* Pre-compute empty tuple singleton

* Mostly set the cache within tuple_alloc

* Fixes for TSAN

* Pre-compute empty tuple singleton

* Fix for 32-bit platforms

* Assert that op != NULL in _PyTuple_RESET_HASH_CACHE

* Use FT_ATOMIC_STORE_SSIZE_RELAXED macro

* Update Include/internal/pycore_tuple.h

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
* Fix alignment

* atomic load

* Update Objects/tupleobject.c

Co-authored-by: Chris Eibl <138194463+chris-eibl@users.noreply.github.com>
---------

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>
Co-authored-by: Chris Eibl <138194463+chris-eibl@users.noreply.github.com>

gh-118761: Always lazy import `re` in `locale` (#129860)

gh-111178: Skip undefined behavior checks in _PyPegen_lookahead() (#131714)

For example, expression_rule() return type is 'expr_ty', whereas
_PyPegen_lookahead() uses 'void*'.

gh-131712: Build _suggestions extension on Windows (#131759)

Add a test checking that the '_suggestions' extension is available.

GH-131729: Consider in-memory state when merging storage and stack (GH-131773)

Revise `pycore_stackref.h` comments. (#130601)

gh-131782: Fix cast to match type of `bits` in `_Py_TryIncrefCompareStackRef` (#131783)

gh-131763: Replace the redundant check with assert in remove_tools (#131765)

gh-131236: allow to generate multiple UUIDs at once via CLI (#131218)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

GH-119866: Don't clear frame->stackpointer on release builds (GH-131750)

gh-131762: Fixed dereferencing the pointer 'parser_token->metadata' with a NULL value (#131764)

gh-131586: Avoid refcount contention in some "special" calls (#131588)

In the free threaded build, the `_PyObject_LookupSpecial()` call can lead to
reference count contention on the returned function object becuase it
doesn't use stackrefs. Refactor some of the callers to use
`_PyObject_MaybeCallSpecialNoArgs`, which uses stackrefs internally.

This fixes the scaling bottleneck in the "lookup_special" microbenchmark
in `ftscalingbench.py`. However, the are still some uses of
`_PyObject_LookupSpecial()` that need to be addressed in future PRs.

gh-123358: Use `_PyStackRef` in `LOAD_DEREF` (gh-130064)

Concurrent accesses from multiple threads to the same `cell` object did not
scale well in the free-threaded build. Use `_PyStackRef` and optimistically
avoid locking to improve scaling.

With the locks around cell reads gone, some of the free threading tests were
prone to starvation: the readers were able to run in a tight loop and the
writer threads weren't scheduled frequently enough to make timely progress.
Adjust the tests to avoid this.

Co-authored-by: Donghee Na <donghee.na@python.org>

GH-131729: Code-gen better liveness analysis (GH-131732)

* Rename 'defined' attribute to 'in_local' to more accurately reflect how it is used

* Make death of variables explicit even for array variables.

* Convert in_memory from boolean to stack offset

* Don't apply liveness analysis to optimizer generated code

* Fix RETURN_VALUE in optimizer

gh-131741: Add documentation for Windows version detection change in `platform` (#131742)

Document the behavior change between 3.11 & 3.12, where ``platform`` now correctly detects Windows 11 and Windows Server releases past Windows Server 2012.

Co-authored-by: Adam Turner <9087854+AA-Turner@users.noreply.github.com>
Co-authored-by: Hugo van Kemenade <1324225+hugovk@users.noreply.github.com>
Co-authored-by: Wulian <1055917385@qq.com>

gh-131649: fix test_string_literals SyntaxWarning (#131650)

gh-117657: Fix data race in `compare_unicode_unicode_threadsafe` (gh-131746)

We can't safely check the type of the found key until we incref it or if we know that it's immortal.

document that `sys._is_gil_enabled` is CPython-specific (#131748)

gh-130881: Handle conditionally defined annotations (#130935)

gh-131740: Update PyUnstable_GC_VisitObjects to traverse perm gen (gh-131744)

GH-130673: Gracefully handle missing sections in JIT build (GH-130906)

GH-131691: Fix exception handling setting for clang-cl on Windows (GH-131730)

The /EHa option for Clang-CL behaves differently than the same option for MSVC, which is why we don't use it for both compilers.

gh-129900: Fix `SystemExit` return codes when the REPL is started from the command line (#129901)

gh-131647: fix 'sys.path_hooks is empty' warning in test_importlib (#131648)

GH-130887: Always remove trailing jumps in AArch64 JIT stencils (GH-131042)

gh-131719: add NULL pointer check to `_PyMem_FreeDelayed` (gh-131720)

gh-131711: Preventing the use of a null pointer in set_tp_mro (#131713)

gh-127945: fix thread safety of ctypes state (#131710)

This fixes thread safety of `array_cache` and `swapped_suffix` by initializing them in module exec to make it thread safety.

gh-127945: add locking to malloc closure in free-threading (#131662)

The freelist is not thread safe in free-threading so this adds lock around it make it thread safe in free-threading.

gh-131707: fix unawaited coroutine warning in test_coroutines.Corouti… (#131708)

gh-131707: fix unawaited coroutine warning in test_coroutines.CoroutineTest.test_17

gh-128446: Run Windows CI tests on each commit (#131702)

gh-131666: mark `anext_awaitable.close` as a `METH_NOARGS` instead of `METH_VARARGS` (#131671)

GH-131473: Override PreferredToolArchitecture when using Visual Studio bundled clang-cl (GH-131689)

tweak PreferredToolArchitecture for bundled clang-cl

gh-127146: Fix Emscripten build with --pydebug (#131672)

Removes an explicit check that sysconfigdata naming is correct, in favor of reporting at
runtime with the default mechanisms.

gh-131677: Fix flaky test_lru_cache_threaded3 (gh-131679)

The call to `with self.subTest(...)` was not thread-safe.

gh-130928: Fix error message during bytes formatting for the `'i'` flag (#130967)

gh-131670: Fix crash in `anext()` when `__anext__` is sync and raises (#131682)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-111178: Fix function signature in pyexpat.c (#131674)

Move _Py_NO_SANITIZE_UNDEFINED macro from faulthandler.c to pyport.h.

GH-131521: Uses correct build flags for zlib-ng on Windows (GH-131526)

Do not enable AdvancedVectorExtensions2 for all *.c files, so that the resulting binary can be executed on older CPUs, too. Also enable AdvancedVectorExtensions512 where necessary, and add the ClangCL flags required to enable vector extensions.

gh-111178: fix UBSan for example code in `extending/newtypes_tutorial` docs (GH-131606)

Co-authored-by: Petr Viktorin <encukou@gmail.com>

GH-128520: pathlib ABCs: tighten up argument types (#131621)

In `JoinablePath.full_match()` and `ReadablePath.glob()`, accept a `str`
pattern argument rather than `JoinablePath | str`.

In `ReadablePath.copy()` and `copy_into()`, accept a `WritablePath` target
argument rather than `WritablePath | str`.

gh-115684: Clarify datetime `replace` documentation (#116519)

* Clarify datetime `replace` documentation

In #115684, HopedForLuck noted that `datetime.date.replace()`
documentation was confusing because it looked like it would be changing
immutable objects.

This documentation change specifies that the `replace()` methods in
`datetime` return new objects. This uses similar wording to the
documentation for `datetime.combine()`, which specifies that a new
datetime is returned. This is also similar to wording for
`string.replace()`, except `string.replace()` emphasizes that a "copy"
is returned.

Resolves #115684.

* Include reviewer comments

Thanks Privat33r-dev for the comments!

---------

Co-authored-by: Paul Ganssle <1377457+pganssle@users.noreply.github.com>

GH-128520: pathlib ABCs: validate `magic_open()` arguments (#131617)

When `pathlib._os.magic_open()` is called to open a path in binary mode,
raise `ValueError` if any of the *encoding*, *errors* or *newline*
arguments are given. This matches the `open()` built-in.

GH-128520: pathlib ABCs: reject empty pattern in `ReadablePath.glob()` (#127343)

For compatibility with `Path.glob()`, raise `ValueError` if an empty
pattern is given to `ReadablePath.glob()`.

GH-131296: Remove unused variable from _wmimodule.cpp (GH-131587)

gh-111178: Fix function signatures for test_socket (#131667)

Add unicode_fsdecode() wrapper for PyUnicode_DecodeFSDefault() to use
the correct API for Py_BuildValue() converter API.

gh-111178: fix UBSan failures for `anextawaitableobject` (#131609)

gh-111178: Skip tests which require deep stack if UBsan (#131669)

If Python is built with Undefined Behavior sanitizer, skip
test_repr_deep() of test_userdict and test_lru_recursion() of
test_functools.

gh-111178: Fix function signatures for test_capi (#131659)

Co-authored-by: Bénédikt Tran <10796600+picnixz@users.noreply.github.com>

gh-111178: Fix function signature for test_threading (#131663)

gh-128421: Avoid TSAN warnings in `sys._current_frames()` (gh-131548)

This tells TSAN not to sanitize `PyUnstable_InterpreterFrame_GetLine()`.
There's a possible data race on the access to the frame's `instr_ptr`
if the frame is currently executing. We don't really care about the
race. In theory, we could use relaxed atomics for every access to
`instr_ptr`, but that would create more code churn and current compilers
are overly conservative with optimizations around relaxed atomic
accesses.

We also don't sanitize `_PyFrame_IsIncomplete()` because it accesses
`instr_ptr` and is called from assertions within PyFrame_GetCode().