]> git.ipfire.org Git - thirdparty/Python/cpython.git/commitdiff
gh-128519: Align the docstring of untokenize() to match the docs (#128521)
authorTomas R. <tomas.roun8@gmail.com>
Mon, 6 Jan 2025 08:42:26 +0000 (09:42 +0100)
committerGitHub <noreply@github.com>
Mon, 6 Jan 2025 08:42:26 +0000 (08:42 +0000)
Lib/tokenize.py

index 7ece4e9b70d31b35c7f6493318be177dd171907e..1a60fd32a77ea486a5597f7ca465f215a803b292 100644 (file)
@@ -318,16 +318,10 @@ def untokenize(iterable):
     with at least two elements, a token number and token value.  If
     only two tokens are passed, the resulting output is poor.
 
-    Round-trip invariant for full input:
-        Untokenized source will match input source exactly
-
-    Round-trip invariant for limited input:
-        # Output bytes will tokenize back to the input
-        t1 = [tok[:2] for tok in tokenize(f.readline)]
-        newcode = untokenize(t1)
-        readline = BytesIO(newcode).readline
-        t2 = [tok[:2] for tok in tokenize(readline)]
-        assert t1 == t2
+    The result is guaranteed to tokenize back to match the input so
+    that the conversion is lossless and round-trips are assured.
+    The guarantee applies only to the token type and token string as
+    the spacing between tokens (column positions) may change.
     """
     ut = Untokenizer()
     out = ut.untokenize(iterable)