]> git.ipfire.org Git - thirdparty/Python/cpython.git/commit
[3.14] gh-134675: Add t-string prefixes to tokenizer module, lexical analysis doc...
authorMiss Islington (bot) <31488909+miss-islington@users.noreply.github.com>
Mon, 26 May 2025 19:24:24 +0000 (21:24 +0200)
committerGitHub <noreply@github.com>
Mon, 26 May 2025 19:24:24 +0000 (15:24 -0400)
commit74f5667bd9293337bc7c1b2fb89d9a8cb0598bc8
treeea8065b5dedfb6d3cadc32de05286206a331866a
parentc6cc28299e7ea4944ed4b4c348377a055c747b71
[3.14] gh-134675: Add t-string prefixes to tokenizer module, lexical analysis doc, and add a test to make sure we catch this error in the future. (GH-134734) (#134739)

gh-134675: Add t-string prefixes to tokenizer module, lexical analysis doc, and add a test to make sure we catch this error in the future. (GH-134734)

* Add t-string prefixes to _all_string_prefixes, and add a test to make sure we catch this error in the future.

* Update lexical analysis docs for t-string prefixes.
(cherry picked from commit 08c78e02fab4a1c9c075637422d621f9c740959a)

Co-authored-by: Eric V. Smith <ericvsmith@users.noreply.github.com>
Doc/reference/lexical_analysis.rst
Lib/test/test_tokenize.py
Lib/tokenize.py